Ученые разработали устройство, воспроизводящее речь по активности мозга
Сегодня различные системы, основанные на активности головного мозга, уже применяются для помощи парализованным пациентам с потерей речи. Такой человек может написать текст, управлять различными бытовыми приборами, инвалидной коляской. Как это делается? На голову надевается гарнитура, которая регистрирует электроэнцефалограмму. И по активности мозга на разные внешние воздействия можно определить его желание. Скажем, сидя перед монитором, не произнося ни слова, человек может написать текст. Для этого на экране должны появляться буквы, и мозг, выбирая нужную, выдает активность, которая регистрируется на ЭЭГ. Эта команда направляется на печатающее устройство. Точно так же можно управлять разными внешними устройствами, например, включить телевизор, управлять экзоскелетом, инвалидной коляской и т.д. Чтобы пользоваться такой системой, надо пройти курс основательной тренировки. И конечно, она работает намного медленней по сравнению с обычной речью.
Группа под руководством Эдварда Чанга из Калифорнийского университета в Сан-Франциско предложила принципиально иной метод синтеза речи. Достоинство в том, что мы слышим именно речь, хотя ее произносит специальный синтезатор. Для этого ученые вначале записали активность мозга, которая возникает при движении челюсти, гортани, губ и языка, когда человек произносит разные буквы. Потом научили искусственный интеллект распознавать эти сигналы. Следующий этап - перевод этих команд в речь. Этим занимается вторая нейронная сеть.
Затем свое детище ученые представили на суд публики. Несколько сотен человек слушали речь машины и пытались понять, что она произносит. В зависимости от слов положительный результат оказался у 21-43 процентов. Так что ученым есть куда совершенствоваться.
Чанг отметил, что в будущем такое устройство сможет работать с человеком, которой пытается произнести слова. Даже если он, к примеру, парализован, мозг все равно отправляет соответствующие сигналы органам речевого тракта - и машина, обученная на активности чужого мозга, синтезирует речь. Помимо совершенствования самого алгоритма распознавания и синтезирования речи, ученые планируют продолжить работу с людьми, имеющими приобретенные проблемы с речью и, возможно, даже никогда не говорившими по медицинским причинам.
Александр Каплан, заведующий лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ, доктор биологических наук:
- Конечно, это очень интересная работа. Но сразу хочу отметить, что эксперимент проводился на открытом мозге, ведь в кору были введены электроды. А это довольно сложная и ответственная хирургическая операция. Теперь по сути. Известно, если человек пытается что-то сказать, то в мозге формируются команды артикуляционным мышцам, которые управляют языком и гортанью. Так мы произносим слово. И даже если по разным причинам человек не может произнести слово, команды все равно в мозге появляются. И ученые с помощью электродов и специального алгоритма пытаются их расшифровать. Этим в экспериментах Чанга занимается искусственный интеллект. А затем команды от мозга надо превратить в слово. Для этого ученые сделали манекен гортани, языка и всех артикуляционных мышц. И если воздействовать на эти мышцы, то через синтезатор можно получить звук. Этим занимается вторая система искусственного интеллекта. Она получает из первой системы расшифрованные команды и направляет их на модель. В итоге артикуляционные мышцы начинают работать, и появляется звук.Пока результаты этих экспериментов не очень впечатляют. Кстати, они зависят не только от того, какие слова пытается произнести модель, но и от условий эксперимента. Участникам предлагали не просто назвать слово, которое произносит устройство, а выбрать один из нескольких вариантов. Понятно, что это намного проще. Иначе процент верных попаданий мог оказаться не больше 5. Так что о серьезном прорыве пока говорить не приходится. Но, с другой стороны, можно вспомнить, что еще несколько лет назад машинные переводчики работали очень плохо, над авторами таких систем даже посмеивались. А сейчас они переводят даже сложные тексты вполне прилично. Думаю, время за коллективами, которые сейчас упорно разрабатывают подобные системы