Жінка, яка через інсульт втратила можливість розмовляти, повернула голос завдяки підключенню її мозку до комп'ютера. Імплантат з масивом електродів зчитує активність мозку пацієнтки при її спробі вимовити слова та передає дані до комп'ютера, де алгоритм розшифровує їх та може озвучити через синтезатор мови. Досягнення опубліковане у журналі Nature.
Демонстрація технології, яка дозволила пацієнтці спілкуватися зі своїм чоловіком голосом. UC San Francisco (UCSF) / Youtube
Чому ця технологія є великим досягненням?
При багатьох хворобах нервової системи людина втрачає можливість рухатися та говорити. Це психологічно важке випробування для пацієнтів, тож науковці та інженери працюють над тим, щоб повернути їм можливість спілкування. Великі надії покладають на технологію нейрокомп'ютерного інтерфейсу, або інтерфейсу мозок-комп'ютер, що поєднує через мозкові імплантати нервову систему та машину. У такий спосіб пацієнти з паралічем вже виводити на екран слова, про які лише подумали або уявили їхнє написання від руки, але зараз вчені Каліфорнійського університету у Сан-Франциско наділили технологію ще й голосом.
Як відбувалося спілкування?
Пацієнтка, 47-річна жінка, залишилася паралізованою після того, як у 30 років пережила інсульт. У рамках дослідження їй імплантували у мозок 253 електроди, що реєструють активність ділянок, пов'язаних із такими аспектами мовлення як рухи голосового апарату. Дані про мозкову активність при спробах жінки зачитувати текст передавалися алгоритму штучного інтелекту на комп'ютері, який тренувався пов'язувати їх з окремими словами й фразами.
У результаті алгоритм генерував текст за думками пацієнтки зі швидкістю 78 слів на хвилину та середньою похибкою у 25 відсотків при тренуванні на словниковому запасі у 1024 слова. Замість простого виведення тексту на екран, алгоритм для синтезування мови озвучував його голосом пацієнтки та передавав емоції через її аватар на екрані. Цього досягли завдяки попередньому аналізу старого відео з весілля жінки, де вона ще не була паралізована.
- В один день із дослідженням каліфорнійських вчених у журналі Nature вийшла і стаття дослідників Стенфордського університету, про яку ми писали раніше. Вони теж створили нейрокомп'ютерний інтерфейс, що повернув пацієнтці мову. Їхня технологія не озвучує текст, але розпізнає слова з похибкою 23,8 відсотка при роботі зі словниковим запасом у 125 тисяч слів.