Google не будет исправлять атаку ASCII Smuggling в Gemini — уязвимы также DeepSeek и Grok

Компания Google приняла решение не устранять новую уязвимость типа ASCII Smuggling в своем ИИ-ассистенте Gemini. Эту технику можно использовать, чтобы заставить модель выдавать ложную информацию, менять свое поведение или незаметно «отравлять» обучающие данные.

В этой атаке ASCII smuggling используются специальные символы из блока Unicode Tags. Они позволяют внедрять полезную нагрузку, невидимую для пользователя, но распознаваемую языковой моделью (LLM).

Это похоже на другие недавние атаки против Google Gemini, в которых исследователи использовали разрыв между тем, что видит пользователь, и тем, что считывает машина. Например, применялись приемы, похожие на манипуляции с CSS или эксплуатацию ограничений графического интерфейса.

Хотя уязвимость LLM к ASCII smuggling известна давно — исследователи обсуждали эту возможность с момента появления генеративных ИИ-инструментов, — уровень риска теперь значительно выше [1, 2, 3, 4].

Ранее чат-боты могли быть атакованы таким образом только в том случае, если пользователя обманом заставляли вставить специально подготовленные подсказки. Однако с появлением агентных ИИ-систем вроде Gemini, которые имеют доступ к личным данным и способны выполнять задачи автономно, угроза стала гораздо серьезнее.

Исследователь по безопасности компании FireTail Виктор Маркопулос (Viktor Markopoulos) протестировал эту атаку на популярных ИИ-помощниках и выяснил, что уязвимы оказались Gemini (через календарь и почту), DeepSeek (через подсказки) и Grok (через публикации в X).

При этом Claude, ChatGPT и Microsoft Copilot были защищены благодаря фильтрации и очистке вводимых данных (input sanitization).

По словам исследователя, из-за глубокой интеграции Gemini с Google Workspace злоумышленник может внедрить скрытые инструкции в приглашения календаря или письма.

Запись в Календаре, как её видит пользователь (слева), и чат Gemini с подменёнными/«отравленными» данными (справа). Источник: FireTail

Маркопулос обнаружил, что можно скрыть инструкции в заголовке приглашения календаря, подменить данные организатора (спуфинг личности) и внедрить скрытые описания встречи или ссылки.

Что касается риска, связанного с электронной почтой, исследователь отмечает:

Для пользователей, у которых языковые модели подключены к почтовым ящикам, простое письмо со скрытыми командами может заставить модель просканировать входящие в поисках конфиденциальных данных или отправить контактную информацию, превратив стандартную фишинговую атаку в автономный инструмент извлечения данных.

Языковые модели, которым поручено просматривать веб-страницы, также могут наткнуться на скрытые полезные нагрузки в описаниях товаров и затем передать пользователю вредоносные URL, встроенные в эти описания.

Исследователь сообщил об уязвимости 18 сентября, однако в Google заявили, что это не ошибка безопасности, а потенциальный элемент социальной инженерии, поэтому исправлений не планируется.

Тем не менее, Маркопулос доказал, что таким образом можно заставить Gemini выдавать ложные сведения. В одном из примеров скрытая инструкция привела к тому, что ассистент порекомендовал подозрительный сайт как «надежный магазин со скидками на телефоны».

В отличие от Google, некоторые фирмы, например Amazon, опубликовали подробные рекомендации по защите от атак через скрытые Unicode-символы.