Как говорят разработчики, это первая подобная нейросеть на русском языке. Цифровые ассистенты гаджета, оснащенные голосовым управлением, переводят послание в звук. Специалисты создавали систему с помощью метода машинного обучения, проводимого по видеозаписям со звуком. Программа запомнила несколько сотен распространенных команд.
Поскольку для улучшения точности распознавания программу обучали на совмещении информации из двух источников, то использовали и визуальные, и звуковые дорожки. Как пояснил председатель комитета по информатизации и связи Санкт-Петербурга Станислав Казарин, такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях.
Новинку можно использовать на производствах, где очень шумно и используются звукоподавляющие технологии. К примеру, она может пригодиться пилотам авиации, в производственных цехах с громкими механизмами.
"Обкатали" технологию на водителях большегрузных автомобилей. Нейросеть распознала почти 90 процентов звуковых сигналов и до 80 - визуальных.