Технология перевода работает в Яндекс.Браузере для десктопов и Яндекс.Браузере для Android, а также в мобильном приложении Яндекс для Android и iOS.
Теперь пользователи могут смотреть англоязычные научно-популярные программы, кулинарные шоу, лекции Элона Маска и Ричарда Фейнмана, стендапы и видеоблоги в русской озвучке. Технология реализована следующим образом, оригинальный звуковой поток приглушается и на него накладывается озвученный переведенный текст. Используются два голоса: мужской голос и женский голос, который также является голосом голосового помощника Алисы.
Руководитель Яндекс.Браузера Роман Иванов заявил:
Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.
Таким образом, теперь пользователи могут перевести практически любое видео из YouTube, Vimeo и других популярных платформ. Функция перевода поддерживается в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.
Перевод выполняется в несколько этапов. На первом этапе распознается речь, она преобразуется в текст, которая разбивается на предложения помощью нейронных сетей. После этого определяется пол говорящего, предложения переводятся на русский язык и синтезируется голос. Наконец, остается совместить перевод с видеорядом. Это непростая задача, потому что приложения в русском языке длиннее, чем на английском.
Подробная информация по технической реализации доступна на «Хабре». Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода займет несколько минут, а по его завершению вы получите уведомление.
Обновления программ, что нового
• Обновления Java SE: Доступны версии 24.0.2, 21.0.8 LTS, 17.0.16 LTS, 11.0.28 LTS и 8 (8u461) (LTS)
• Релиз VirtualBox 7.1.12: Исправления для Windows и Linux, улучшенная поддержка AVX
• Приложение Comss DNS & Новости для Android: обновления сайта и доступ к ИИ-сервисам
• Официально: Google объединит ChromeOS и Android в одну платформу
• Релиз Floorp Browser 12: новый интерфейс, плавающая боковая панель и переход на Firefox Rapid Release
• Silicon Motion представила контроллер SSD PCIe Gen6: скорость до 28 ГБ/с