Компания Hugging Face, развивающая популярную платформу для размещения ИИ-моделей, сообщила о взломе своей производственной инфраструктуры. По данным компании, злоумышленники использовали автономную систему на базе ИИ-агента и получили доступ к внутренним наборам данных и учетным данным.
Hugging Face – открытая платформа для разработки и распространения решений в области ИИ и машинного обучения. В каталоге проекта размещено более 45 тысяч моделей от ведущих поставщиков, а сервисами платформы пользуются свыше 50 тысяч организаций.
Атака началась в системе обработки данных Hugging Face. Злоумышленники загрузили вредоносный набор данных и воспользовались двумя уязвимостями, которые позволяли выполнять произвольный код на рабочем сервере. После этого атакующие похитили учетные данные от облачной и кластерной инфраструктуры и начали перемещаться между несколькими внутренними кластерами компании.
Hugging Face продолжает расследование и пока не может подтвердить, затронула ли атака данные клиентов или партнеров. Компания пообещала напрямую связаться со всеми организациями, информация которых могла оказаться скомпрометирована. При этом специалисты компании не обнаружили признаков изменения общедоступных моделей, наборов данных или приложений Spaces. Компания также проверила цепочку поставок ПО и заявила, что она не была скомпрометирована.
В своем отчете Hugging Face сообщила:
Атака проводилась с помощью автономной агентной системы, которая, по всей видимости, была создана на базе платформы для исследований в области информационной безопасности. Какая языковая модель использовалась, пока неизвестно. Система выполнила многие тысячи отдельных действий через сеть кратковременных изолированных сред, а самоперемещающаяся инфраструктура управления была размещена на общедоступных сервисах.
Произошедшее соответствует сценарию атаки с использованием автономных ИИ-агентов, который специалисты отрасли прогнозировали в последние годы.
После обнаружения атаки Hugging Face закрыла уязвимые пути выполнения кода. Речь идет об инъекции шаблона в конфигурации набора данных и удаленном загрузчике наборов данных. Компания заблокировала доступ злоумышленников, заново развернула скомпрометированные узлы, а также отозвала и заменила все затронутые учетные данные.
Кроме того, Hugging Face усилила системы обнаружения вредоносной активности, сообщила об инциденте правоохранительным органам и привлекла внешних специалистов по цифровой криминалистике. Они помогут оценить масштаб атаки и ее возможные последствия.
В Hugging Face добавили:
Мы не знаем, какая модель управляла агентами злоумышленника: взломанная облачная модель или открытая модель без ограничений. В любом случае атакующий не был связан никакими правилами использования, тогда как нашу собственную работу по расследованию сначала ограничивали защитные механизмы облачных моделей, которые мы пытались применять.
Практический вывод для специалистов по защите: еще до инцидента необходимо подобрать и подготовить достаточно мощную модель, которую можно запускать в собственной инфраструктуре. Это позволит избежать блокировок из-за встроенных ограничений и не передавать данные об атаке и учетные данные за пределы своей среды.
Hugging Face рекомендовала пользователям заменить токены доступа и проверить недавнюю активность учетных записей на наличие подозрительных действий. Компания также пообещала продолжить публиковать результаты расследования и рекомендации по защите от атак с использованием искусственного интеллекта.
Это первый известный инцидент в истории платформы, который связали с автономным ИИ-агентом. Ранее Hugging Face уже сталкивалась со взломами. Два года назад злоумышленники проникли на платформу Spaces. После этого компания отозвала секреты аутентификации у части пользователей и рекомендовала им перейти на токены доступа с детально настроенными разрешениями.
Кроме того, в последние годы злоумышленники использовали Hugging Face для распространения вредоносных моделей машинного обучения, программ для кражи данных и тысяч вариантов вредоносного ПО для Android.