Microsoft Edge может автоматически генерировать описания изображений для средств чтения с экрана

Рассмотрим подробнее, как работает новая технология в Microsoft Edge. Когда авторы блогов и сайтов публикуют статьи, они прикрепляют к скриншотам и изображениям атрибут с описанием или замещающим текстом. Это описание индексируется поисковыми системами и используется для выдачи результатов при поиске по изображениям.

Программы для чтения с экрана, такие как встроенный в Windows 10 и Windows 11 Экранный диктор, обычно используются людьми с нарушениями зрения. Эти программы используют алгоритмы преобразования текста в речь, чтобы помочь понять, что отображается на экране, а также выбрать/выполнить различные параметры и т. д.

Экранный диктор ранее поддерживал чтение текстового контента на веб-страницах в Edge. Когда браузер загружает страницу, содержащую изображения, экранный диктор проверяет наличие описания и произносит его.

По данным Microsoft, многие веб-сайты не содержат замещающий текст для изображений. Это означает, что их описания пусты, и программа чтения с экрана полностью их пропускает, а пользователь упускает полезную информацию.

Как раз для решения этой проблемы и предназначена новая функция Microsoft Edge. Она сочетает в себе оптическое распознавание изображений и преобразование текста в речь. Когда Microsoft Edge обнаруживает, что у изображения нет заголовка замещающего текста, то графический контент отправляется в алгоритм машинного обучения, который работает на базе Computer Vision API от Azure Cognitive Service.

Технология искусственного интеллекта анализирует содержимое изображений, создает описание на одном из поддерживаемых языков и возвращает его в браузер, чтобы диктор мог прочитать его вслух. Также поддерживается оптическое распознавание символов (OCR) для обнаружения текста внутри изображений на 120 языках. Функция «Автоматические описания изображений» поддерживает распространенные форматы изображений, такие как JPEG, GIF, PNG, WebP и многие другие.

В некоторых ситуациях Vision API будет игнорировать описания. Текст не будет зачитываться для изображений размером менее 50 х 50 пикселей, очень крупных изображений, а также для фотографий с насилием и контентом для взрослых.

Как включить «Автоматические описания изображений» в Microsoft Edge

«Автоматические описания изображений» доступны в стабильной версии Microsoft Edge для Windows, Linux и macOS. Опция отключена по умолчанию, потому что имеет собственное заявление о конфиденциальности. Чтобы включить функцию, перейдите в Настройки > Специальные возможности и активируйте переключатель Получить описания изображений от Майкрософт для средств чтения с экрана.

Браузер выведет всплывающее окно с описанием и ссылкой на заявление о конфиденциальности:

Если изображение не имеет полезного описания, Microsoft Edge пытается составить такое описание. С этой целью изображения отправляются в Майкрософт. Это можно отключить в настройках в любое время.

Нажмите Да, мне это подходит, чтобы активировать автоматическую генерацию описаний для изображений.

После этого, вы можете включить Экранный диктор с помощью сочетания Ctrl+Win+Enter, и инструмент будет произносить описания для изображений, которые не имеют замещающего текста. Функцию можно отключить с помощью опции контекстного меню Получить описания изображений от Майкрософт.

Microsoft опубликовала официальный видеоролик с демонстрацией работы «Автоматических описаний изображений».