Яндекс расширил программу «Охота за ошибками» для поиска уязвимостей в нейросетях YandexGPT и YandexART

Яндекс расширил программу «Охота за ошибками», добавив в неё новое направление — поиск уязвимостей в генеративных нейросетях. Теперь специалисты по информационной безопасности смогут протестировать модели YandexGPT, YandexART и инфраструктуру, обеспечивающую их работу, на наличие технических уязвимостей. За наиболее критичные ошибки компания готова выплатить до 1 миллиона рублей.

В рамках обновлённой «Охоты» исследователям предстоит находить ошибки, которые могут повлиять на корректность работы моделей или изменить их поведение, в том числе вмешаться в процесс обучения или нарушить работу других сервисов Яндекса. Речь идёт исключительно о технических уязвимостях — отчёты о неточностях в ответах Алисы или сбоях в генерации изображений в Шедевруме не рассматриваются.

Какие ошибки интересуют Яндекс

Наибольший интерес для компании представляют ошибки, которые позволяют раскрыть служебную информацию — например, внутреннюю конфигурацию моделей или технические данные, содержащиеся в системных промтах. Такие уязвимости Яндекс относит к критическим и готов заплатить за их обнаружение до миллиона рублей. Размер вознаграждения зависит от степени риска и сложности эксплуатации ошибки.

«Мы приглашаем исследователей помочь нам сделать генеративные модели ещё безопаснее. Это важный шаг в развитии технологий и подтверждение нашей приверженности принципам безопасной разработки», — заявляют в Яндексе.

Где используются YandexGPT и YandexART

Генеративные модели уже внедрены более чем в 20 продуктах Яндекса — от голосового помощника Алисы и Поиска с Нейро до рекламы в Директе и сервисов Yandex Cloud. Они доступны как в пользовательских продуктах, так и через API для сторонних разработчиков. Расширение «Охоты за ошибками» на генеративные ИИ поможет убедиться, что внедряемые технологии отвечают высоким требованиям к безопасности.

Как Яндекс обеспечивает безопасность ИИ

Компания применяет практики безопасной разработки на всех этапах — от архитектурного проектирования до финального внедрения сервисов. Специалисты по безопасности ещё на ранних этапах проектирования изучают потенциальные угрозы, а готовая архитектура проходит аудит на соответствие внутренним стандартам.

• Разработка систем защиты от атак на ИИ, включая специализированные инструменты;
• Противодействие DDoS-атакам с помощью системы «Антиробот»;
• Мониторинг инфраструктуры и выявление подозрительной активности;
• Проведение внутренних аудитов защищённости.

О программе «Охота за ошибками»

Программа «Охота за ошибками» была запущена Яндексом в 2012 году и стала первой в своём роде в России. Она ориентирована на белых хакеров и экспертов по кибербезопасности, готовых делиться найденными уязвимостями в сервисах Яндекса. Подробный список категорий ошибок и уровней вознаграждений доступен на официальной странице программы.