06.10.2021 13:00
Поделиться

Новосибирские программисты обучили компьютер понимать тысячу жестов

Компьютерная программа, созданная в Новосибирске, способна на 90 процентов распознавать русский жестовый язык. Подобных программ в мире больше нет.

Разрабатывают программу в Новосибирском государственном техническом университете (НГТУ НЭТИ). При помощи камеры она распознает картинку, затем переводит изображения в модели и обрабатывает, сопоставляя их с данными в нейронной сети. После этого компьютер выводит на монитор уже соответствующий жестам перевод.

В октябре 2019 года глухой программист вуза Алексей Приходько рассказал о созданном прототипе президенту России Владимиру Путину на заседании наблюдательного совета организации "Россия - страна возможностей". С тех пор был сделан значительный шаг вперед.

- Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения, - рассказал профессор кафедры автоматизированных систем управления НГТУ Михаил Гриф.

Разработка компьютерного переводчика поддержана РФФИ в рамках русско-индийского гранта и Фондом президентских грантов.

Как уточнили в пресс-службе технического университета, ученые вуза сосредоточены на разработке и внедрении компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло требованиям глухих людей. Сначала планируется разработать переводчик для русского жестового языка, а в дальнейшем - для других жестовых языков мира.