Пользователям Яндекс Браузера теперь доступен многоголосый перевод видео - голосов стало двенадцать, шесть мужских и шесть женских. Это нововведение, как утверждают в Яндексе, сделает восприятие контента более комфортным.
Нейросеть переводит голоса, звучащие в видео, в текст. Затем восстанавливает пунктуацию и определяет границы предложений. Другая нейросеть анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. После чего становится ясно, кто из спикеров что произнес.
"Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках - это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно - поэтому мы и сделали десять новых голосов", - пояснил руководитель приложения Яндекс и Яндекс Браузера Дмитрий Тимко.
В сентябре прошлого года закадровый перевод роликов на английском языке стал публичным сервисом. Затем добавились французский, немецкий, испанский и итальянский языки.
Как сообщили в Яндексе, в планах - новые пары языков, например, китайский. Кроме того, в режиме открытого тестирования находится автоматический закадровый перевод прямых трансляций на YouTube.