Технология перевода работает в Яндекс.Браузере для десктопов и Яндекс.Браузере для Android, а также в мобильном приложении Яндекс для Android и iOS.
Теперь пользователи могут смотреть англоязычные научно-популярные программы, кулинарные шоу, лекции Элона Маска и Ричарда Фейнмана, стендапы и видеоблоги в русской озвучке. Технология реализована следующим образом, оригинальный звуковой поток приглушается и на него накладывается озвученный переведенный текст. Используются два голоса: мужской голос и женский голос, который также является голосом голосового помощника Алисы.
Руководитель Яндекс.Браузера Роман Иванов заявил:
Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.
Таким образом, теперь пользователи могут перевести практически любое видео из YouTube, Vimeo и других популярных платформ. Функция перевода поддерживается в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.
Перевод выполняется в несколько этапов. На первом этапе распознается речь, она преобразуется в текст, которая разбивается на предложения помощью нейронных сетей. После этого определяется пол говорящего, предложения переводятся на русский язык и синтезируется голос. Наконец, остается совместить перевод с видеорядом. Это непростая задача, потому что приложения в русском языке длиннее, чем на английском.
Подробная информация по технической реализации доступна на «Хабре». Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода займет несколько минут, а по его завершению вы получите уведомление.
Обновления программ, что нового
• Opera VPN Pro доступен пользователям настольных компьютеров
• AMD Radeon Software 22.6.1 WHQL для Windows 7. Исправления для Radeon RX 6900 XT
• Brave Search Goggles: продвигайте любимые сайты, понижайте рейтинг и удаляйте нежелательные ресурсы
• Safari 16 Technology Preview: Некоторые функции macOS Ventura доступны в Monterey
• iOS 16 и macOS Ventura позволят обходить проверки CAPTCHA
• Chrome 103 ускоряет загрузку сайтов с новой технологией