В пресс-службе компании рассказали, что разработчики за неимением уже готовых решений самостоятельно создали собственный датасет. Специальный алгоритм помог им обработать 1,5 млн видео. Из них они выбрали 100 тысяч материалов с качественными субтитрами на севернокитайском языке, которым владеет более миллиарда местных жителей. Это было необходимо сделать потому, что нейросеть учится понимать речь именно на правильным соответствии аудио и субтитров.
Также специалисты закодировали словарь в виде 10 000 токенов. Один токен равняется одному слогу или часто употребляемому сочетанию двух слогов.
Кроме того, всего за месяц нейросеть изучила четыре тона, которые определяют смысл сказанного, хотя у людей на это могут уходить годы. Тон представляет собой мелодический рисунок голоса. При этом одинаковый слог, произнесенный пониженным или повышенным тоном, может означать абсолютно разное.
По словам руководителя проектного офиса разработки "Яндекс Браузера" Ильи Шибанова, создание автоматического голосового перевода китайского языка означает большой шаг в области преодоления языкового барьера среди пользователей интернета.
"Кроме того, теперь у нас есть достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским", - добавил он.
Ранее сообщалось, что китайская пиар-компания Bluefocus Intelligent Communications планирует отказаться от людей в пользу ИИ в стиле ChatGPT.