Американські дослідники представили неінвазивну технологію декодування мозкової активності, яка відтворює у тексті, що людина чує, бачить або думає. На відміну від схожих попередніх технологій, ця аналізує дані функціональної магнітно-резонансної томографії мозку та не вимагає імплантації в нього електродів. Досягнення опубліковане в журналі Nature Neuroscience.
Дослідники Техаського університету готуються зібрати дані фМРТ мозку учасника дослідження. Nolan Zunk / University of Texas at Austin
Навіщо нам таке читання думок?
Люди, які втратили можливість спілкуватися через параліч, завдяки новим технологіям можуть повернути навичку, щоправда, в іншій формі. Ми вже писали про паралізованих людей, які змогли знову поспілкуватися з рідними за допомогою імплантатів, що вловлюють мозкову активність та передають до комп'ютера для розшифрування. Відтак комп'ютер виводить слово, про яке думає людина, на екран. Хоч останніми роками технологія суттєво розвинулася, її недоліком продовжує бути інвазивність, оскільки вона вимагає введення імплантатів у мозок, а це супроводжується високим ризиком ускладнень, зокрема внесення інфекції.
Зараз вчені з Техаського університету спробували зчитати інформацію з мозку на основі такої нетравматичної технології як функціональна магнітно-резонансна томографія (фМРТ). Вона відстежує у режимі реального часу активізацію окремих ділянок мозку за збільшенням рівня їх насичення киснем. Але зростання і зменшення насиченості киснем відбувається не моментально, а приблизно протягом 10 секунд, тоді як англомовна людина звичайно спілкується зі швидкістю два слова на секунду. Це перешкоджає відтворенню нормальної мови, тож науковцям довелося підлаштувати декодер таким чином, аби він вгадував послідовності слів, які людина прагне вимовити, на основі характерної зміни активності мозку.
Як працює система декодування думок?
Спочатку науковцям слід було з'ясувати, як взагалі людський мозок реагує на звичайну, безперервну людську мову. Для цього вони сімох добровольців обстежили за допомогою фМРТ під час прослуховування ними історій. Усього учасники прослухали 16 годин природної мови, а дані про активність їхнього мозку у цей час використали для тренування комп'ютерної моделі, яка мала виявити закономірності у реакціях людського мозку на різні слова й фрази.
Зліва - прослуханий учасником текст, справа - розшифрований на основі фМРТ-даних текст моделі. Синім позначено точні визначення слів, фіолетовим - вгадування суті, червоним - помилки. Jerry Tang et al. / Nature Neuroscience, 2023
Після цього модель перевіряли на даних активності мозку учасників, коли ті слухали нові історії. У результаті, мовна модель навчилася передбачати, що людина думає, коли чує історію, уявляє, що розповідає її, або переглядає відео без слів. Проте технологія працює не з окремими словами, а радше через вгадування суті думки. Точність розшифровування виявилася вищою, ніж могла б бути за умови випадковості, але іноді закрадалися помилки. Наприклад, коли учасник чув «Я ще не маю водійського посвідчення», модель розшифровувала це як «Вона ще навіть не починала вчити водіння».
Зліва - кадри з переглянутого учасниками відео, справа - розшифрування його змісту моделлю на основі даних фМРТ мозку учасників, отриманих при перегляді відео. Jerry Tang et al. / Nature Neuroscience, 2023
Що буде з технологією?
Вчені планують вдосконалити розпізнавання думок моделлю, зокрема через зворотний зв'язок із користувачем пристрою, щоб він міг підлаштуватися до нього, та через використання апаратів, які детальніше реєструють активність мозку, наприклад, електроенцефалограф. Водночас поки що технологія недоступна за межами лабораторії, де потрібно перебувати у великому томографі, та не працює у реальному часі. Дослідники працюватимуть над тим, щоб зробити свій винахід доступнішим і зручнішим для домашнього користування.
Між тим, своїм дослідженням науковці викликають занепокоєння через можливість використання технології для збору конфіденційної інформації безпосередньо «з голови» людей, аналізуючи їхні думки. Автори наголошують, що поки що модель розшифровування працює лише з попереднім навчанням розпізнавати активність мозку конкретної людини і не є універсальним. Окрім того, завадити розшифровуванню можна, якщо людина почне під час прослуховування історій рахуватиме подумки, уявлятиме інші об'єкти або розповідатиме іншу історію. Але не виключено, що обхід цих обмежень є лише питанням часу.