Мозковий імплант допоміг людям виділити з розмови голос однієї людини, підсиливши лише його гучність, але не всі інші звуки навколо. Для цього штучний інтелект у реальному часі зчитував мозкову активність, щоб з’ясувати, на якому голосі фокусується людина. Такий підхід здатен покращити слухові апарати, які можуть відсіювати фоновий шум, але не голоси інших людей, що заважає людям із порушеннями слуху добре чути в натовпі. Дослідження опублікували в журналі Nature Neuroscience.
Учасник дослідження слухав два записи розмов, де мав виділити повторювані слова, поки електроди в мозку зчитували, на чому він фокусується (вгорі). Графік показує, як змінюється фокус з однієї розмови на іншу (внизу). Vishal Choudhari / Mesgarani lab / Columbia’s Zuckerman Institute
Як працює вибіркове підсилення гучності одного голосу?
Щоб створити слуховий апарат, який підсилюватиме лише один голос, науковці провели дослідження за участі чотирьох пацієнтів з епілепсією, які мали електроди в мозку для відстеження його електричної активності. За допомогою цих електродів науковці зчитували сигнали відповідальних за слух ділянок, коли учасники слухали записи одночасно двох розмов, які симулювали реальні умови: пари співрозмовників стояли недалеко одне від одного, а на додачу до цього на фоні були розмови інших людей або шум вулиці.
Обладнання для експерименту: з кожної колонки лунав запис однієї пари співрозмовників, а електроди в мозку зчитували, до чого людина дослухається. Vishal Choudhari / Mesgarani lab / Columbia’s Zuckerman Institute
У першому експерименті учасникам вмикали запис і просили натискати на кнопку щоразу, коли певне слово повторюватиметься в репліках тієї людини, до якої вони дослухалися. Використовуючи дані з цього експерименту, науковці натренували модель, яка реагувала на спроби мозку прислухатися до одного голосу та підсилювала саме його. У другому експерименті цю модель перевіряли на нових записах, у яких вона підсилила гучність потрібного голосу з точністю 72-90 відсотків.
Оскільки учасники дослідження мали нормальний слух, систему вирішили додатково перевірити за участі 40 людей із порушеннями слуху. Їм вмикали або записи, у яких один голос був підсилений на основі даних із попереднього експерименту, або звичайні записи. Як й учасники з епілепсією, люди з порушенням слуху відмітили, що їм легше було розібрати мовлення, коли інші голоси були відфільтровані. Але покращення здатності чути саме підсилений голос в учасників із порушенням слуху було помітнішим, ніж у людей з епілепсією, імовірно, через те, що для них загалом складніше розчути голос у розмові.
- Як виявилося, гірша здатність чути співрозмовника в шумному оточенні пов’язана з нижчим інтелектом і навіть вищим ризиком розвитку деменції.
- А от краще почути співрозмовника може допомогти його споглядання — навіть коли джерелом звуку є не реальна людина, а лише динамік.
