Нейросеть Kandinsky 2.2 научилась создавать анимационные видеоролики

Нейросеть Kandinsky 2.2 теперь генерирует анимационные видеоролики по текстовому описанию. Синтез одной секунды видео в среднем занимает около 20 секунд.

У пользователей нейросети Сбера Kandinsky 2.2 появилась возможность создавать видеоролики по текстовому описанию в режиме анимации. По одному текстовому описанию генерируется 4-секундное видео c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640x640 пикселей. Синтез одной секунды видео в среднем занимает около 20 секунд.

Генерация анимационных видеороликов работает в тестовом режиме и доступна по индивидуальным приглашениям. Как рассказали "РГ" в Сбере, до конца года оценить новые возможности нейросети смогут абсолютно все. Заявку на получение доступа к нейросети можно оставить в Telegram-боте.

Чтобы сгенерировать видео в режиме анимации, нужно описать текстом то, что хочется увидеть. Далее бот предложит на выбор 16 вариантов анимации сцены, а после этого нейросеть сгенерирует анимированный видеоролик. Также доступна генерация составных сцен: пользователь может ввести несколько текстовых описаний (до трёх), затем выбрать для каждого свою механику анимации, а после этого модель создаст "мини-фильм".

С момента выхода модели Kandinsky 2.2 пользователи уже сгенерировали более 50 млн изображений, говорит первый зампред правления Сбера Александр Ведяхин.

"Запуск видео-функции в режиме анимации - это важный шаг в развитии нашей нейросети и для всей глобальной индустрии мультимодальных моделей искусственного интеллекта", - говорит он.

Основой для синтеза видео является модель генерации изображений по текстовым описаниям Kandinsky 2.2. Для расширения ее возможностей были реализованы разные виды анимации изображений, что позволило перемещать объекты, приближать и отдалять их, оживлять статику всеми возможными способами. В основе всех режимов анимации лежат функции image2image (перерисовка изображения по текстовому описанию) и inpainting/outpainting (дорисовка части изображения внутри и за его пределами), которые уже были реализованы в базовой модели.

Нейросеть разработали и обучили исследователи Sber AI совместно с учёными из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и компании SberDevices.

Ранее стало известно, что нейросеть YandexGPT 2 набрала на ЕГЭ балл, необходимый для поступления в вуз. Это первый случай в России, когда генеративная нейросеть сдала единый госэкзамен, выполнив все его задания, включая творческое. Эксперты полагают, что активное участие искусственного интеллекта в процессе обучения неизбежно и потребует корректировок подходов к сдаче экзаменов и оценки знаний.