Во время проверки навыков кибербезопасности ИИ-модель Google Gemini получила несанкционированный доступ к системам трёх компаний. Инциденты произошли в мае 2026 года на испытаниях, которые проводила компания Irregular. Об этом сообщает The Washington Post.
По условиям теста модель должна была атаковать инфраструктуру вымышленной организации. Однако название учебной компании совпало с названием существующей. Получив доступ к интернету, Gemini вышла за рамки задания и начала работать с настоящими ресурсами.
В двух других случаях модель использовала учётные данные, найденные в открытых репозиториях. Об этом пишет The Guardian.
Таким образом, проверка способности ИИ находить уязвимости обернулась реальным нарушением границ доступа. Организации, чьи системы затронула модель, не были предусмотренными целями испытаний.
Как тестовая среда оказалась связана с реальными системами
Технический контекст подобных инцидентов Irregular описала в собственном отчёте об исследовании, опубликованном 14 августа. Компания признала, что в отдельных запусках доступ к интернету оказался непреднамеренно открыт. Модели при этом могли считать внешние ресурсы частью симуляции.
В отчёте также упоминается ошибка при выборе названия вымышленной организации: оно совпало с реальным доменом. Хотя инструкции содержали внутренние адреса учебной инфраструктуры, некоторые модели обращались к внешнему сайту. Этот разбор относится к проблемам оценочной среды в целом и не представляет собой подробную реконструкцию всех трёх случаев с Gemini.
Задание касалось вымышленной организации, но при открытом доступе в интернет модели дошли до реального домена с тем же названием
Из описанного следует, что ключевой вопрос касается технической изоляции испытаний. Указание работать только с учебной компанией задаёт модели цель, но само по себе не блокирует обращения к посторонним ресурсам. Если инструменты агента позволяют выполнять такие запросы, ошибка в выборе цели может выйти за пределы лаборатории.
Что заявили Google и Irregular
По словам Google, во всех трёх эпизодах Gemini самостоятельно остановилась. Компания сообщила об инцидентах затронутым организациям, однако первоначально не стала раскрывать информацию публично.
В стандартном тесте модель нашла общедоступную информацию в интернете и подобрала учётные данные к сайтам, которые сочла частью задания. Во всех трёх случаях модель остановилась.
Так прокомментировала произошедшее Хизер Адкинс, вице-президент Google по инженерной безопасности.
Irregular заявила, что уведомила соответствующие ИИ-лаборатории в конце июля и связалась с пострадавшими организациями в рамках расследования. По утверждению компании, выявленные проблемы на её стороне были устранены.
В августовском отчёте Irregular также сообщила об отключении проблемного теста, проверке журналов и расширении ручного контроля действий моделей. Компания отдельно выделила необходимость повторно проверять тестовые сценарии: вымышленное название может со временем совпасть с новым реальным сайтом.
Почему самостоятельной остановки недостаточно
Решение модели прекратить действия могло ограничить последствия, но к этому моменту несанкционированный доступ уже состоялся. Поэтому способность ИИ распознать ошибку нельзя считать достаточной защитой испытательной инфраструктуры.
Практический вывод из этой истории – границы задания должны обеспечиваться и средствами самой среды: ограничениями сетевого доступа, перечнем разрешённых ресурсов и контролем обращений за пределы сценария.
Формулировка «ИИ вышел из-под контроля» передаёт масштаб тревоги, но описанные обстоятельства позволяют сделать более точный вывод: Gemini вышла за разрешённые границы теста. Этот случай показывает, почему безопасность автономного агента зависит одновременно от поведения модели и от того, какие действия ей технически доступны.