Нейробіологи відтворили уявлену людьми мелодію за активністю їхнього мозку, зчитаною електродами на поверхні кори. При цьому окремі ноти не вдалося розрізнити з точністю вищою за випадкове вгадування. Натомість дослідникам вдалося доволі точно відтворити різницю у висоті нот цієї мелодії. Це свідчить на користь того, що мозок запам’ятовує мелодію не як набір нот із чіткою висотою, а як різницю у висоті сусідніх нот. А це, своєю чергою, може пояснити, як люди впізнають мелодії зі зміненою тональністю, наприклад, відтворені іншим інструментом або іншим голосом. Дослідження опублікували в журналі eNeuro.
Нейробіологи відтворили уявлену людьми мелодію за активністю мозку. При цьому вони не вгадали жодної ноти. GIPHY
Чому уявлену музику важко зчитати з мозкової активності?
Раніше науковцям уже вдавалося відтворити мелодію, яку в цей момент слухали люди, за активністю їхнього мозку. Для розпізнавання мелодії навіть застосовували штучний інтелект, який показав, що кожна людина сприймає музику по-своєму. Але подальші дослідження також показали, що навіть під час простого уявляння мелодії активуються ті самі ділянки мозку, що й під час її активного прослуховування.
Тому науковці вже намагалися відтворити ті мелодії, які люди лише уявляли: так вдалося реконструювати ритмічну структуру, очікування зміни темпу та загальні характеристики частоти музики. В одному дослідженні навіть вдалося розрізнити окремі ноти за активністю мозку, але під час нього учасники дивилися на клавіші піаніно на екрані та уявляли ноти в межах однієї тональності. Тому корейська команда на чолі з науковцями Сеульського національного університету вирішила дослідити, чи можливо відтворити справжню мелодію, яку люди програватимуть подумки.
Що вдалося зчитати з активності людського мозку?
У дослідженні взяли участь 10 людей з епілепсією, які мали вживлені в мозок електроди перед операцією з блокування надмірної активності мозку. Ще сімох учасників одразу відсіяли, адже вони не зрозуміли завдання або не могли точно проспівати задану мелодію. Кожен із 10 учасників проходив по вісім сесій із п’ятьма дитячими піснями, які відтворювали в трьох тональностях: до мажор, ре мажор і сі-бемоль мажор. Завдяки такому підходу люди орієнтувалися не на звучання окремої ноти в мелодії, а на різницю в їхній висоті.
Протягом кожної сесії пісню розбивали на такти: перші два людина прослуховувала, другі два — програвала подумки, а наступні — проспівувала вголос. Паралельно на екрані відображалися підказки, які допомагали тримати ритм пісні, так що кожну ноту людина уявляла протягом пів секунди, а за два уявлені такти встигала програти вісім нот подумки.
Далі для аналізу активності мозку науковці використали два алгоритми. Один намагався відтворити самі ноти, які люди уявляли, за тим, яка в них була мозкова активність, коли вони ці ноти чули. Інший намагався відтворити різницю між висотою тих самих уявлених нот. Перший алгоритм стабільно визначав абсолютну висоту звуку на рівні випадкового вгадування, яке для цього експерименту становило 16,7 відсотка. Водночас другий стабільно давав трохи вищі результати — у середньому точність склала 26,7 відсотка, а найвища — 31,2 відсотка. Хоча різниця з імовірністю випадкового вгадування була невеликою, але все ж статистично значущою, тобто достовірно від нього відрізнялася.
Використовуючи другий алгоритм, науковці спробували відтворити мелодію, уявлену учасниками під час сесії, яку не використовували для навчання алгоритму. Хоча пісня не ідеально збігалася, збільшення чи зменшення висоти звуку алгоритм відтворив правильно, а в загальних рисах мелодія збіглася на 67 відсотків. При цьому залученою в уявленні мелодії виявилася ділянка мозку, пов’язана з рухом, тож, імовірно, люди уявляли проспівування цієї мелодії.
Чим можливість відтворювання мелодій з мозку допоможе людям?
Перш за все, результати дослідження показують, як саме мозок обробляє мелодії: не через запам’ятовування окремих нот, а через відносну різницю в їхній висоті. Це важливо для створення нейроінтерфейсів, зокрема для розпізнавання мовлення, адже під час їхньої розробки дослідники також прагнуть зрозуміти, як саме мозок обробляє мовлення — як окремі слова чи їхні поєднання, як до цього додаються інтонації та контекст. Тому дослідження проводили за фінансування компанії Samsung, метою якої є створення нейроінтерфейсу для голосового спілкування.
Але дослідження має й обмеження, адже люди уявляли не довільні мелодії, а ті, які їм щойно вмикали. На додачу до цього, активність мозку зчитували вживленими в нього електродами, а не з поверхні черепа, тож відтворити цей підхід можливо в людей, які вже мають нейроінтерфейси. Попри це, науковцям вдалося застосувати один і той самий алгоритм до різних пацієнтів і різних мелодій, тож вони сподіваються, що майбутні дослідження сприятимуть розробці універсальних способів зчитування мозкової активності.
Що вже знали про вплив музики на мозок
👶 Завдяки аналізу мозкової активності у немовлят виявили вроджене відчуття ритму та здатність передбачати його зміни, але не зміни в мелодії.
🤭 Прослуховування приємної музики активувало в мозку ті ж рецептори, що й задоволення від їжі та сексу.
🧠 А фрісон, тобто поява приємних «мурашок» на шкірі, виявився пов’язаним з активністю в ділянках мозку, залучених у системі винагороди.
