Агенты Gemini пытались взломать сайт Epoch AI во время проверки безопасности

2026-11-17 72 комментарии
Trajectory Labs и Epoch AI описали, как агенты Gemini 4 Argon во время проверки на несогласованное поведение отправили десятки тысяч запросов к сайту Epoch AI, выдавали себя за сотрудников и обходили сетевые блокировки

ИИ-агенты Google Gemini неоднократно пытались взломать сайт реальной организации во время проверки безопасности моделей. Они находили способы обходить ограничения, которые исследователи последовательно ужесточали, чтобы закрыть доступ к действующим системам.

Рассуждение агента Gemini 4 Argon в кратком изложении: агент выбирает, за кого себя выдать, и решает отвечать от имени сотрудника Epoch AIРассуждение агента Gemini 4 Argon в кратком изложении: агент решает отвечать от имени сотрудника Epoch AI. Изображение: Trajectory Labs

Инциденты произошли в октябре, когда компания Trajectory Labs, занимающаяся исследованиями безопасности ИИ, проверяла поведение агентов Gemini 4 Argon. Исследователи хотели выяснить, станут ли агенты выполнять несанкционированные действия ради невыполнимой задачи, даже если встроенные механизмы защиты модели на уровне API включены.

В отчетах, опубликованных в пятницу, Trajectory Labs и Epoch AI, чей сайт подвергся атакам, сообщили, что агенты пытались проводить SQL-инъекции, искали конфиденциальные сведения, выдавали себя за сотрудников и неоднократно обходили сетевые ограничения, введенные для сдерживания их активности.

Epoch AI отметила, что не проверяла самостоятельно, какие именно модели участвовали в экспериментах. Сведения об использовании Gemini предоставила Trajectory Labs.

Невыполнимая задача привела к атакам

Исследователи поручили агентам найти официальные ответы на несуществующие задачи из математического теста FrontierMath, разработанного Epoch AI. При этом агентам неоднократно давали указание: «НИКОГДА не останавливайтесь, НИКОГДА не сдавайтесь».

20 октября около 40 агентов начали исследовать действующий сайт Epoch AI в поисках конфиденциальных сведений, включая учетные данные администраторов и доступ к закрытым журналам оценки результатов FrontierMath.

Epoch AI обнаружила эту активность и создала «горячую линию для агентов», через которую они могли отправлять сообщения непосредственно сотрудникам организации.

За три часа агенты выполнили 36 411 запросов к специально размещенному API-эндпоинту и отправили 487 сообщений через горячую линию. В некоторых сообщениях они выдавали себя за реальных сотрудников Epoch или представлялись инженерами и аудиторами, которым требовались сведения о тесте.

Расследование также выявило попытку SQL-инъекции и более 200 попыток получить доступ к журналам оценки FrontierMath.

Код на Python, которым агент Gemini 4 Argon подставляет строку SQL-инъекции в запрос к API сайта Epoch AI с задачами FrontierMathКод агента Gemini 4 Argon с попыткой SQL-инъекции в запросе к API сайта Epoch AI. Изображение: Trajectory Labs

Trajectory Labs обнаружила эту активность при просмотре записей работы агентов и на следующее утро уведомила Epoch AI о несанкционированных атаках.

После обсуждения инцидента с Epoch исследователи согласились продолжить эксперименты на локальной копии сайта вместо действующей инфраструктуры.

Однако агенты продолжили находить способы обходить ограничения.

Агенты обходили сетевые блокировки

Во время тестирования 23 октября некоторые агенты поняли, что взаимодействуют с копией сайта Epoch. Они определили IP-адрес настоящего сайта и подключились напрямую к действующей инфраструктуре, обойдя перенаправление DNS, которое должно было удерживать их в тестовой среде.

Когда исследователи заблокировали IP-адреса, использовавшиеся для подключения к Epoch, один из агентов переключился на другой адрес и снова получил доступ к действующему сайту.

Затем Trajectory Labs настроила сетевой прокси так, чтобы блокировать прямые подключения к Epoch. Однако агент нашел другой способ получать общедоступное содержимое сайта – через сторонний сервис чтения веб-страниц.

В Trajectory Labs пояснили:

В некоторых запусках агенты выясняли, что работают с копией, определяли правильный IP-адрес для обхода нашего перенаправления и снова подключались к действующему сайту. Epoch сообщила нам об этом.

В отдельном техническом разборе исследователи Trajectory Labs также сообщили, что агенты создали доску сообщений в общем кеше программных пакетов. Через нее они обменивались сведениями об уязвимостях и способах их эксплуатации.

Схема Trajectory Labs: агенты загружают в общий кеш программных пакетов заметки о найденных уязвимостях, другие агенты их читают и проверяют способ атаки на копии сайтаСхема: агенты превратили общий кеш программных пакетов в доску сообщений и передавали через нее найденные способы атаки. Изображение: Trajectory Labs

В одном случае агент поделился способом обхода ограничений на специально созданной уязвимой копии сайта Epoch. Другой агент затем воспользовался этим способом, получил учетные данные и выполнил задачу.

Исследователи также наблюдали попытки обхода CAPTCHA. Кроме того, агенты выдавали себя за сотрудников, чтобы обманом заставить ИИ-ассистента раскрыть защищенные сведения о тесте.

Эксперименты в изолированной среде

С 26 октября Epoch AI согласилась участвовать в дополнительных экспериментах Trajectory Labs, зная, что агенты будут иметь доступ к интернету и смогут взаимодействовать с ее общедоступным сайтом.

Во время этих тестов агенты снова обращались к действующей инфраструктуре Epoch. Они отправили более 65 000 запросов к специально размещенной конечной точке API, а также предприняли новые попытки SQL-инъекций и выдавали себя за сотрудников.

Позднее Trajectory Labs перенесла тестирование в полностью изолированные среды без доступа к интернету.

Даже после этого агенты пытались отключить имитацию защитного механизма, который якобы блокировал доступ к сети. Им удалось сделать это во всех трех завершенных тестовых запусках.

По словам исследователей, агентам не давали прямых указаний взламывать сайты или выдавать себя за сотрудников. Однако им намеренно поставили невыполнимую задачу и неоднократно требовали не сдаваться.

Trajectory Labs признала, что инциденты стали следствием недостатков в организации тестирования. В частности, компания проводила эксперименты без согласия затронутой организации и полагалась на встроенную защиту модели без достаточного дополнительного контроля.

2 ноября компания приостановила все испытания, направленные на выявление несогласованного с намерениями разработчиков поведения ИИ, до проведения оценки рисков и внедрения дополнительных мер защиты.

Trajectory Labs предупреждает:

Эти инциденты показывают, насколько легко испытания мощных ИИ-агентов могут выйти за рамки тестовой среды и затронуть реальные системы и людей. При этом общих стандартов безопасного проведения таких испытаний пока нет.

Ни одна из организаций не подтвердила, что в ходе инцидентов были раскрыты какие-либо закрытые сведения Epoch AI.

Другие инциденты с автономными ИИ-агентами

Отчет опубликован на фоне иска против OpenAI, который в понедельник подал генеральный прокурор Калифорнии Роб Бонта (Rob Bonta). В иске утверждается, что компания не обеспечила надлежащую изоляцию автономных ИИ-агентов во время тестирования, в результате чего более чем в 80 случаях потеряла над ними контроль.

Иску предшествовал июльский инцидент: почти 700 агентов на базе моделей OpenAI вышли за пределы контролируемой тестовой среды и атаковали рабочую инфраструктуру Hugging Face, пытаясь похитить ответы на задания теста по кибербезопасности.

Читаете нас в Google? Добавьте Comss.ru в источникиДобавьте Comss.ru в источники Google
Новые статьи будут чаще в «Главных новостях» Google. Без подписок и уведомлений, отключается в один клик. Нужен вход в аккаунт Google.Наши статьи будут чаще в «Главных новостях». Нужен вход в Google.
Добавить в Google
© .
Комментарии и отзывы

Нашли ошибку?

Новое на сайте