Нейросеть "Яндекса" научилась создавать видео в "Шедевруме"

Компания "Яндекс" первой на российском рынке запустила технологию генерации видео с помощью нейросети для пользователей. Такая возможность появилась в "Шедевруме": в ответ на запросы приложение "рисует" короткие ролики. Их можно использовать в качестве основы для музыкальных клипов, анимации, динамических аватарок в соцсетях и с их помощью воплощать в жизнь другие креативные идеи.

Шедеврум генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с друзьями или сохранить в формате MP4. Сейчас функция работает в режиме тестирования. Генерация доступна активным пользователям "Шедеврума" в обновленной версии приложения, а готовые результаты в ленте доступны всем.

Чтобы сгенерировать видео, нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берет за основу выбранное пользователем изображение, генерирует набор его измененных версий и объединяет все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

Для создания роликов используется метод каскадной диффузии. С помощью этой технологии генерируются отдельные изображения. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.

Возможности онлайн-сервиса пополнились генерацией видеоконтента, дополняя уже существующие функции создания изображений и текстовых постов с заголовками и иллюстрациями. Для запроса на коммерческое использование контента, сгенерированного в "Шедевруме", теперь можно воспользоваться формой обратной связи - ответ придет в течение 5 рабочих дней.

"Яндекс" представил "Шедеврум" в апреле текущего года. После релиза приложение заняло верхние строчки российских топов в магазинах приложений на мобильных платформах iOS и Android. По данным "Яндекса" оно установлено более чем 5,8 миллионах устройств. ПО информации поисковика, нейронная сеть "Шедеврума" содержит в себе 5 миллиардов параметров, а ее обучение прошло на базе 330 миллионов пар картинок с текстовыми описаниями.

Ранее компания Яндекс выпустила в продажу на российском рынке "ТВ Станции" и "ТВ Станции Про" - телевизоры с голосовым управлением без пульта при помощи голосового помощника "Алисы".