Нейросеть "Яндекса" научилась кратко пересказывать видеоролики

Пользователи "Браузера" и "Поиска" от "Яндекса" теперь смогут читать пересказы русскоязычных видео.

Новая функция призвана быстро ознакомить с содержанием ролика и помочь понять, есть ли в нем ответ на нужный вопрос. Авторам контента нововведение будет полезно в создании описания видео с таймкодами - в него можно добавить ключевые слова для лучшей индексации в поиске. Вся схема работает на базе нейронной сети YandexGPT.

Нововведение поможет сделать просмотр удобнее: по клику на таймкод получится перейти к интересующему фрагменту. Например, в обзоре нового смартфона сразу перемотать до момента про характеристики его камеры. Также пользователи смогут превращать видеоинструкции в списки тезисов, чтобы перед глазами была последовательность действий. Кроме того, функция пригодится, если нужно быстро узнать содержание длинного часового видео, большую часть в котором блогер/ведущий тратит на пустую болтовню или рекламу.

Российский поисковик также рассказал немного о внутренней "кухне" процесса пересказа видео, упомянув, что нейросеть обобщает только русскоязычные ролики длиной от двух минут до четырёх часов и только те, где есть речь. Технология работает так: сначала алгоритм превращает аудиодорожку в текст с помощью распознавания речи, а затем YandexGPT разбивает его на смысловые фрагменты. Нейросетка обобщает каждый из них и указывает таймкод начала блоков.

Новые возможности также доступны в "Поиске Яндекса" в любом браузере. Сейчас функция работает для популярных роликов - например, для рецептов приготовления блюд, хендмейда, видео с решением школьных заданий или записей телепередач. Кроме того, можно получить текстовую выжимку из YouTube-роликов, загрузив ссылку на клип на сервис 300.ya.ru.

Чтобы воспользоваться новой фичей, нужно открыть видео и нажать на кнопку "Краткий пересказ". В "Поиске" краткое содержание появится сразу после нажатия на такую же кнопку возле видео в выдаче. Для получения пересказа на 300.ya.ru понадобится скопировать ссылку на нужный ролик в поле ввода сервиса.