Глухой программист "научил" компьютер понимать язык жестов

Программист Новосибирского государственного технического университета (НГТУ) Алексей Приходько создал прототип уникальной компьютерной системы, которая позволит свободно общаться глухим и слышащим людям.

Прямо скажем, он взялся за неординарную задачу. Ведь язык жестов глухих людей включает в себя, помимо самих жестов, еще много лингвистических компонентов. Например, один и тот же жест может обозначать разные понятия в зависимости от места расположения кисти руки: находится ли она у подбородка, у щеки или рядом с другой ладонью. Дополняют жесты направление движений, их скорость и обязательно выражение лица.

В мире несколько компаний заявляют, что разработали электронный переводчик с жестового языка на письменный, однако, по словам Приходько, современные системы пока далеки от совершенства. Они не учитывают все компоненты жеста, и в первую очередь, лингвистические особенности национальных языка жестов.

- Как в русском языке существует алфавит, так и в русском жестовом языке каждый жест руки обозначает определенную букву. Но существует и такой способ общения, когда каждый жест обозначает целое понятие, - рассказал "РГ" Алексей Приходько. - Глухие при общении используют оба варианта. Например, признание в любви может состоять из трех жестов "я тебя люблю", а может из десяти конфигураций руки, по количеству букв.

Алексей решил сделать технологию перевода простой и доступной, применив для "снятия" жестов обычные видеокамеры. Ведь ими оснащен сегодня любой смартфон, а значит, в перспективе электронный переводчик можно сделать карманным. Как работает эта система? В компьютере создана скелетная модель человека. Камера улавливает жесты, система моментально их обрабатывает, переводит в буквы, и на мониторе появляется текст. "Если модель определяет, например, что пальцы раскрыты - это буква "В", если пальцы собраны - значит "О", - поясняет автор. Но это только первый этап в разработке переводчика. Дело в том, что глухие люди для общения используют не только жесты рук, в беседе задействованы и губы, и мимика, и движение головы, и даже тела. Только весь этот набор делает общение максимально насыщенным. Но как заложить все это в переводчик?

- Пока моя программа не распознает мимику и движения губ, но эти компоненты обязательно будут дорабатываться, - обещает Приходько. - Чтобы она улавливала такие тонкости, нужны нейросети и компьютер с мощной видеокартой. А потом надо адаптировать программу для использования на обычном ноутбуке или даже смартфоне. Тогда дополнительного оборудования, помимо обычной камеры, вообще не потребуется.

К разработке переводчика новосибирского программиста подтолкнула сама жизнь. Он глухой с рождения, уже в третьем поколении. Несмотря на это он не только успешно поступил в один из престижных вузов страны, выучил несколько языков программирования, но и окончил магистратуру и аспирантуру. Алексей стал одним из 300 лучших магистрантов страны. Он надеется, что его электронный переводчик поможет многим глухим студентам получить образование.