Google добавляет мультимодальные возможности в свой ориентированный на поиск чат-бот AI Mode, которые позволяют ему «видеть» и отвечать на вопросы по изображениям. При этом компания расширяет доступ к AI Mode для «миллионов» новых пользователей.
Обновление объединяет кастомную версию Gemini AI с фирменной технологией распознавания изображений Google Lens, что позволяет пользователям AI Mode делать фото или загружать изображения и получать «развернутые, содержательные ответы со ссылками» о том, что на них изображено. Обновленный ИИ-режим поиска уже доступен в приложении Google на Android и iOS.
Робби Стайн (Robby Stein), вице-президент Google по продукту поиска, заявил:
AI Mode опирается на наш многолетний опыт в области визуального поиска и поднимает его на новый уровень. Благодаря мультимодальным возможностям Gemini, AI Mode может понимать всю сцену на изображении, включая контекст взаимосвязей между объектами, а также их уникальные материалы, цвета, формы и расположение.
По словам Google, обновление использует технику «расширенного запроса» (fan-out technique), при которой система отправляет несколько запросов по изображению и отдельным объектам, чтобы предоставить «максимально точные и релевантные ответы». Это позволяет, например, распознавать книги на фото, рекомендовать похожие издания с высокими оценками и отвечать на уточняющие вопросы для подбора рекомендаций.
На GIF-анимации показана демонстрация новых возможностей мультимодального поиска изображений в нейросети AI Mode. Теперь AI Mode от Google может «видеть» то, что видите вы, и лучше помогать в поиске.
AI Mode в поиске — это ответ Google на Perplexity и ChatGPT Search: чатоподобный интерфейс, который отвечает на запросы, используя ИИ-обобщения, основанные на данных из индекса поиска Google.
Изначально AI Mode был доступен только подписчикам Google One AI Premium в рамках эксперимента Google Labs. Теперь Google предоставляет доступ к AI Mode «миллионам» новых пользователей Labs в США, а не только платным подписчикам.
Обновления программ, что нового
• Apple выпустила обновления macOS Tahoe 26.6.1, Sequoia 15.7.9 и Sonoma 14.8.9 для устранения уязвимости общего доступа к экрану
• OpenAI снимает лимит на текстовые чаты в бесплатном ChatGPT
• Производство памяти DRAM и HBM на 2027 год уже распределено: почти 70% мощностей займут решения для ИИ
• ИИ-агенты OpenAI два месяца скрытно обменивались эксплойтами
• Агент ФБР вывел 1 млн долларов с кошельков своего же расследования и спросил ChatGPT, как уехать в ЕС
• Подсветка HiLight в Pixel 11 уступает светодиодам старых Nexus