Учёным удалось при помощи импланта в головном мозге воспроизвести мысленную речь

Люди, потерявшие способность говорить своим собственным голосом, как правило, используют различные синтезаторы речи. Современные технологии предлагают множество решений данной проблемы: от простого клавиатурного ввода до ввода текста при помощи взгляда и специального табло. Тем не менее, все существующие решения достаточно медлительны, и, чем тяжелее состояние человека, тем больше времени занимает для него набор текста. Возможно, что вскоре эта проблема будет решена при помощи нейронного интерфейса, который реализуется в виде специального импланта из электродов, установленных прямо на головном мозге, что даёт максимальную точность считывания его активности, которую затем система может интерпретировать в понятную нам речь.

Исследователи из Калифорнийского университета в Сан-Франциско в своей статье для журнала Nature от 25 апреля рассказали, как им удалось при помощи импланта озвучить мысленную речь человека. Как сообщается, звук получился в некоторых местах неточным, но предложения удалось полностью воспроизвести, а главное, понять сторонним слушателям. Для этого потребовались годы анализа и сопоставления записанных сигналов мозга, и на данный момент технология не готова для использования вне лаборатории. Тем не менее, эксперимент показал, что «используя только мозг, можно расшифровать и воспроизвести речь», — говорит Гопала Ануманчипалли (Gopala Anumanchipalli), специалист по изучению мозга и речи.

«Технология, описанная в новом исследовании, обещает в конечном итоге восстановить способность людей свободно говорить», — объясняет Фрэнк Гюнтер (Frank Guenther), нейробиолог из Бостонского университета. «Трудно переоценить важность этого для всех этих людей … Это невероятная изоляция и настоящий кошмар не иметь возможности рассказать о своих потребностях и просто взаимодействовать с обществом».

Как уже говорилось, существующие речевые инструменты, основанные на вводе слов при помощи тех или иных методов, утомительны и часто выдают не более 10 слов в минуту. В более ранних исследованиях учёными уже использовались сигналы мозга для декодирования небольших фрагментов речи, таких как гласные или отдельные слова, но с более ограниченным словарным запасом, чем в новой работе.

Ануманчипалли вместе с нейрохирургом Эдвардом Чангом (Edward Chang) и биоинженером Джошем Шартье (Josh Chartier) изучили пять человек, у которых в мозг, как один из методов лечения эпилепсии, были временно имплантированы сетки электродов. Поскольку эти люди могли говорить самостоятельно, исследователи смогли записывать активность мозга, когда участники эксперимента произносили предложения. Затем команда сопоставила сигналы мозга, которые контролируют губы, язык, челюсть и гортань, с реальными движениями голосового тракта. Это позволило ученым создать уникальный виртуальный голосовой аппарат для каждого человека.

Затем исследователи транслировали движения виртуального голосового аппарата в звуки. Использование этого метода «улучшило речь и сделало её более естественной», — говорит Шартье. Около 70 процентов реконструированных слов были понятны слушателям, которых попросили интерпретировать синтезированную речь. Например, когда испытуемый попытался произнести: «Заведите трёхцветную кошку, чтобы прогнать грызунов (Get a calico cat to keep the rodents away)», слушатель услышал: «Трёхцветная кошка прогонит кроликов (The calico cat to keep the rabbits away)». В целом, некоторые звуки звучали хорошо, например, «ш (sh)». Другие, такие как «бух (buh)» и «пух (puh)», звучали мягче.

Данная технология зависит от знания, как человек использует голосовой тракт. Но у многих людей данной информации и мозговой активности просто не будет, так как они в принципе не могут говорить из-за инсульта мозга, повреждения голосовых путей или болезни Лу Герига (которой страдал Стивен Хоккинг).

«Безусловно, самое большое препятствие заключается в том, как вы собираетесь создать декодер, когда у вас нет примера речи, для которой он будет построен», — говорит Марк Слуцки, невролог и нейро-инженер в Школе медицины им. Файнберга Северо-Западного университета в Чикаго.

Тем не менее, в некоторых тестах исследователи обнаружили, что алгоритмы, используемые для трансляции движений виртуального голосового тракта в звуки, были достаточно похожи от человека к человеку, чтобы их можно было повторно использовать для разных людей, возможно, даже для тех, кто совсем не может говорить.

Но на данный момент составление универсальной карты активности сигналов головного мозга в соответствие с работой голосового аппарата выглядит достаточно сложной задачей, чтобы использовать её для людей, у которых речевой аппарат давно не активен.

Источник: 3dnews.ru