Microsoft добавила в браузер Edge функцию Copilot Vision: ИИ-ассистент теперь «видит» экран и помогает в Интернете

Новая ИИ-функция Copilot Vision теперь бесплатно доступна в браузере Edge. Эта возможность позволяет виртуальному помощнику анализировать содержимое экрана и помогать пользователю при работе с веб-приложениями. Microsoft называет это «разговорным опытом» — вы общаетесь с Copilot голосом, а он отвечает.

Генеральный директор Microsoft AI Мустафа Сулейман (Mustafa Suleyman) отмечает, что при активации этой функции Copilot Vision может «буквально видеть то, что видите вы». Например, ассистент может пошагово вести вас по рецепту во время готовки или анализировать описание вакансии и сразу предлагать идеи для подготовки к собеседованию или написания сопроводительного письма.

Согласно справочной информации Microsoft, Copilot Vision может подсвечивать участки экрана, чтобы выделить важную информацию, однако он не кликает по ссылкам и не выполняет действия от вашего имени.

Функциональность Copilot Vision на уровне всей системы по-прежнему доступна только подписчикам Copilot Pro. С подпиской Copilot можно использовать для помощи в приложениях вроде Photoshop или видеомонтажа, а также в играх вроде Minecraft.

Чтобы включить Copilot Vision в Edge перейдите по ссылке. Вы увидите предложение подключить функцию. После предоставления  разрешения откроется боковая панель Copilot, где можно нажать на иконку микрофона — и сессия Vision начнётся, что будет сопровождаться звуковым сигналом и изменением оттенка браузера.

Правда, работает это не всегда идеально. При тестировании Edge не сразу предложил активацию, и даже после включения элементы управления не отобразились — появился только плавающий текст «Подождите немного…» внизу экрана. Возможна, проблема возникла на конкретном устройстве.

Microsoft заявляет, что при использовании Copilot Vision она записывает только ответы ассистента, но не сохраняет ваши действия, изображения или содержимое страниц. Чтобы завершить сессию Copilot Vision, просто закройте окно браузера или вручную завершите сеанс.