Российские разработчики научили смартфон читать по губам

Ученые Санкт-Петербургского федерального исследовательского центра РАН создали компьютерную программу с видеокамерой, которая может распознавать речь по движению губ. В ее основе лежат технологии искусственного интеллекта.

Отмечается, что это первая нейросеть, понимающая именно русский язык. Она предназначается для цифровых ассистентов, оснащенных голосовым управлением, которые могут работать в условиях шума. В частности, разработка может пригодиться пилотам авиации, рассказали "Известиям" в Минобрнауки.

"Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях", - добавил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.

Специалисты создавали систему с помощью метода машинного обучения, проводимого по видеозаписям со звуком. Так, программа запомнила несколько сотен самых распространенных команд. Эксперимент с внедрением разработки провели среди водителей большегрузных автомобилей. Результат показал, что нейросеть распознала 60-80% визуальных сигналов и 90% - звуковых.

Ранее сообщалось, что бизнес начал отказываться от чат-ботов и голосовых помощников.