Нейросеть Google AI Mode на базе Gemini и технологии Google Lens научилась распознавать изображения и отвечать на вопросы о них

Google добавляет мультимодальные возможности в свой ориентированный на поиск чат-бот AI Mode, которые позволяют ему «видеть» и отвечать на вопросы по изображениям. При этом компания расширяет доступ к AI Mode для «миллионов» новых пользователей.

Обновление объединяет кастомную версию Gemini AI с фирменной технологией распознавания изображений Google Lens, что позволяет пользователям AI Mode делать фото или загружать изображения и получать «развернутые, содержательные ответы со ссылками» о том, что на них изображено. Обновленный ИИ-режим поиска уже доступен в приложении Google на Android и iOS.

Робби Стайн (Robby Stein), вице-президент Google по продукту поиска, заявил:

AI Mode опирается на наш многолетний опыт в области визуального поиска и поднимает его на новый уровень. Благодаря мультимодальным возможностям Gemini, AI Mode может понимать всю сцену на изображении, включая контекст взаимосвязей между объектами, а также их уникальные материалы, цвета, формы и расположение.

По словам Google, обновление использует технику «расширенного запроса» (fan-out technique), при которой система отправляет несколько запросов по изображению и отдельным объектам, чтобы предоставить «максимально точные и релевантные ответы». Это позволяет, например, распознавать книги на фото, рекомендовать похожие издания с высокими оценками и отвечать на уточняющие вопросы для подбора рекомендаций.

На GIF-анимации показана демонстрация новых возможностей мультимодального поиска изображений в нейросети AI Mode. Теперь AI Mode от Google может «видеть» то, что видите вы, и лучше помогать в поиске.

AI Mode в поиске — это ответ Google на Perplexity и ChatGPT Search: чатоподобный интерфейс, который отвечает на запросы, используя ИИ-обобщения, основанные на данных из индекса поиска Google.

Изначально AI Mode был доступен только подписчикам Google One AI Premium в рамках эксперимента Google Labs. Теперь Google предоставляет доступ к AI Mode «миллионам» новых пользователей Labs в США, а не только платным подписчикам.