Ученые создали синхронный перевод на язык жестов
Над продуктом работали в Новосибирском государственном техническом университете совместно с индустриальным партнером - инновационной компанией "Адаптис" (грантополучатель Фонда содействия инновациям, резидент Фонда "Сколково"). Проект выполняется по программе "Приоритет-2030".
"В его основе лежит программный код для семантического анализа текста и преобразования звучащего языка в жестовый, - пояснил гендиректор "Адаптиса" Максим Нечай. - Технология является облачной и функционирует на основе машинного обучения и нейросетей. Благодаря этому пользователи могут ее интегрировать в любой сайт или приложение, установленное на смартфоне".
В вузе с помощью аватара перевели на жесты учебный онлайн-курс по материаловедению, также был создан специальный чат-бот для слабослышащих студентов. В нем они могут получить всю необходимую информацию в удобном виде. По словам ректора НГТУ НЭТИ Анатолия Батаева, в следующем году работа по переводу учебных курсов продолжится.
Как сообщил Максим Нечай, сегодня словарь аватара составляет более пяти тысяч жестов и постоянно пополняется. Вторую версию цифрового переводчика планируется выпустить в первой половине 2023 года. Тогда же разработчики приступят к адаптации решения для Китая, позднее - для стран Европы и Ближнего Востока. В планах - охватить аватаром все жестовые языки мира, а их насчитывается более ста пятидесяти.
Президент Всероссийского общества глухих Станислав Иванов подтвердил готовность организации в статусе квалифицированного заказчика поддержать проект и "довести технологии" до каждого человека с ограничениями здоровья по слуху. С помощью аватара услуги для лиц с нарушениями слуха могут оказывать в банковском секторе, госучреждениях и т.д.
"Разработка ученых действительно уникальная, число слабослышащих в мире растет, а значит, обществу необходимы технологии, которые позволят решить вопросы повышения качества жизни людей. Правительство Новосибирской области уделяет большое внимание созданию условий для слабослышащих", - добавила вице-губернатор Новосибирской области Ирина Мануйлова. Она также обратила внимание, что с помощью разработанных технологий преобразование жестового языка будет производиться в текстовую и речевую форму.
В управлении информационной политики НГТУ сообщили, что в первом квартале 2023 года аватар начнут использовать в учебном процессе, а после он будет бесплатно доступен для всех желающих.
"Внедрение новой технологии не означает, что обычные сурдопереводчики будут не востребованы. Они нужны и для обучения аватара", - отметил Анатолий Батаев.
Ранее ученые НГТУ НЭТИ обучили нейросеть распознавать РЖЯ и создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме онлайн. Полного его аналога в мире не существует.
В 2019 году выпускник НГТУ НЭТИ Алексей Приходько - единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на письменный язык - завершил работу над прототипом системы, с помощью которой можно переводить язык людей с нарушениями слуха и управлять компьютером при помощи жестов. О своем проекте он рассказал президенту России на наблюдательном совете организации "Россия - страна возможностей". "Пока система может распознавать слова длиной до пяти букв, но в дальнейшем будет переводить целые предложения. В России более 200 тысяч глухих людей. И мы будем первой страной, у которой есть такой переводчик", - поделился Алексей Приходько.