Google запустила функцию анализа экрана с помощью ИИ Gemini в Chrome

Google начала поэтапно открывать доступ к новой функции анализа экрана с помощью искусственного интеллекта Gemini прямо в браузере Chrome. Первыми возможность опробовали подписчики тарифов AI Pro и AI Ultra в США, сообщает издание The Verge, поделившееся первыми впечатлениями от её работы.

Как работает новая функция Gemini в Chrome

На презентации I/O 2025 компания анонсировала, что Gemini сможет просматривать содержимое экрана и камеры пользователя, отвечая на вопросы по содержанию сайтов. Активировать помощника можно с помощью новой иконки Gemini в браузере или сочетанием клавиш Alt+G. Пользователям доступен текстовый чат и голосовой режим Live.

Gemini умеет:

• Пересказывать статьи и комментарии со страниц, которые пользователь просматривает;
• Находить и обобщать информацию из видео, например, определять инструменты, используемые в роликах о ремонте;
• Извлекать рецепты из видео на YouTube, избавляя пользователя от необходимости записывать их вручную;
• Анализировать онлайн-магазины, например, выделять водонепроницаемые сумки на Amazon.

Gemini в Chrome также умеет извлекать рецепты из видео на YouTube. Рецепт соответствует оригинальному. Скриншот: The Verge

Ограничения и неточности работы Gemini

• По наблюдениям журналистов The Verge, новая возможность Gemini имеет одно важное ограничение: она видит и анализирует только то, что отображено непосредственно на текущей вкладке браузера. Для полноценного пересказа статей или комментариев нужно предварительно пролистать всю страницу, чтобы модель «увидела» весь необходимый контент;
• ИИ-анализатор пока ограничен одной вкладкой на запрос. При переходе на другую вкладку или сайт, Gemini не сможет объединить данные;
• Gemini иногда не может точно определить детали без таймкодов в видео. Например, не сразу указала местонахождение MrBeast в ролике о городах майя;
• Не всегда находит конкретные товары в интернет-магазинах, предлагая альтернативы;
• Ответы Gemini могут быть слишком длинными для маленького всплывающего окна в браузере.

На видео: пользователь соцсети X тестирует Gemini в голосовом режиме, спрашивая, что демонстрирует Google в ролике для разработчиков с презентации I/O 2025 (Источник: Paul Couvert).

The Verge отмечает, что несмотря на небольшие недочёты, новая функция Gemini существенно упрощает получение полезной информации прямо в браузере, особенно при работе с видео.

Впервые ИИ-модель Gemini 2.0 Flash с функцией анализа экрана Google представила в декабре 2024 года. Изначально она была доступна только на платформе для разработчиков AI Studio.