Новости

24.09.2019 15:30
Рубрика: Общество
Проект: В регионах

Объяснить на пальцах

Глухой программист "научил" компьютер понимать язык жестов
Программист Новосибирского государственного технического университета (НГТУ) Алексей Приходько создал прототип уникальной компьютерной системы, которая позволит свободно общаться глухим и слышащим людям.
Электронный переводчик Алексея Приходько поможет многим глухим людям. Фото: Пресс-служба НГТУ Электронный переводчик Алексея Приходько поможет многим глухим людям. Фото: Пресс-служба НГТУ
Электронный переводчик Алексея Приходько поможет многим глухим людям. Фото: Пресс-служба НГТУ

Прямо скажем, он взялся за неординарную задачу. Ведь язык жестов глухих людей включает в себя, помимо самих жестов, еще много лингвистических компонентов. Например, один и тот же жест может обозначать разные понятия в зависимости от места расположения кисти руки: находится ли она у подбородка, у щеки или рядом с другой ладонью. Дополняют жесты направление движений, их скорость и обязательно выражение лица.

В мире несколько компаний заявляют, что разработали электронный переводчик с жестового языка на письменный, однако, по словам Приходько, современные системы пока далеки от совершенства. Они не учитывают все компоненты жеста, и в первую очередь, лингвистические особенности национальных языка жестов.

- Как в русском языке существует алфавит, так и в русском жестовом языке каждый жест руки обозначает определенную букву. Но существует и такой способ общения, когда каждый жест обозначает целое понятие, - рассказал "РГ" Алексей Приходько. - Глухие при общении используют оба варианта. Например, признание в любви может состоять из трех жестов "я тебя люблю", а может из десяти конфигураций руки, по количеству букв.

Алексей решил сделать технологию перевода простой и доступной, применив для "снятия" жестов обычные видеокамеры. Ведь ими оснащен сегодня любой смартфон, а значит, в перспективе электронный переводчик можно сделать карманным. Как работает эта система? В компьютере создана скелетная модель человека. Камера улавливает жесты, система моментально их обрабатывает, переводит в буквы, и на мониторе появляется текст. "Если модель определяет, например, что пальцы раскрыты - это буква "В", если пальцы собраны - значит "О", - поясняет автор. Но это только первый этап в разработке переводчика. Дело в том, что глухие люди для общения используют не только жесты рук, в беседе задействованы и губы, и мимика, и движение головы, и даже тела. Только весь этот набор делает общение максимально насыщенным. Но как заложить все это в переводчик?

- Пока моя программа не распознает мимику и движения губ, но эти компоненты обязательно будут дорабатываться, - обещает Приходько. - Чтобы она улавливала такие тонкости, нужны нейросети и компьютер с мощной видеокартой. А потом надо адаптировать программу для использования на обычном ноутбуке или даже смартфоне. Тогда дополнительного оборудования, помимо обычной камеры, вообще не потребуется.

К разработке переводчика новосибирского программиста подтолкнула сама жизнь. Он глухой с рождения, уже в третьем поколении. Несмотря на это он не только успешно поступил в один из престижных вузов страны, выучил несколько языков программирования, но и окончил магистратуру и аспирантуру. Алексей стал одним из 300 лучших магистрантов страны. Он надеется, что его электронный переводчик поможет многим глухим студентам получить образование.

Общество Наука Digital Технологии Общество Соцсфера Филиалы РГ Сибирь СФО Новосибирская область Новосибирск