Нейросеть YandexART научилась создавать короткие видео с движущимися объектами – доступно в приложении Шедеврум для Android и iPhone

Яндекс представил бета-версию нейросети YandexART (Vi) для создания пятисекундных видео, в которых объекты двигаются плавно и реалистично. Теперь модель способна воссоздавать такие движения, как бег собаки, падение листа с дерева или взрыв фейерверка. Это открывает новые возможности как для обычных пользователей, так и для профессионалов: блогеров, мультипликаторов, креаторов и других специалистов. Протестировать новые функции YandexART (Vi) можно в приложении Шедеврум для Android и iPhone.

Скачать Шедеврум для Android и iPhone

Нейросеть создаёт видео на основе текстового описания, предоставленного пользователем. Например, можно ввести запрос вроде «Носорог танцует хип-хоп в сумрачном лесу», и нейросеть создаст плавную анимацию. Процесс генерации видео начинается с изображения, которое постепенно преобразуется в последовательность кадров, используя технологию диффузии. Система постепенно «очищает» цифровой шум, формируя анимацию, где каждый кадр естественно переходит в следующий.

Новые возможности в обработке движений

Предыдущая версия модели, представленная в августе прошлого года, умела создавать анимации, где движение напоминало перемещение камеры, но сами объекты оставались статичными или изменялись от кадра к кадру. Новая версия YandexART (Vi) справляется с задачей более точно — она научилась учитывать движение объектов и их целостность на протяжении всего видео. Модель прошла обучение на большом количестве роликов с движущимися объектами, такими как автомобили или животные, что позволяет ей лучше понимать и воссоздавать реалистичные сцены.

YandexART в современном творчестве

YandexART — это диффузионная нейросеть, разработанная для создания изображений и анимаций по текстовым запросам. Модель интегрирована в экосистему сервисов Яндекса и поддерживает работу с высокодетализированными картинками, фотореалистичными портретами, а также анимациями в различных художественных стилях. Одной из её сильных сторон является способность работать с культурным кодом, что делает её особенно полезной для российского пользователя.

YandexART используется в таких сервисах, как Яндекс Бизнес, Директ, Браузер и Маркет, а также доступна через API в Yandex Cloud, что делает её удобной для интеграции в корпоративные процессы.