Відлуння допомогло нейромережі розпізнати вираз обличчя

Американські інженери представили спосіб розпізнавання виразів обличчя, який не потребує камер. Достатньо пари мікрофонів по обидві боки голови, які зафіксують зміни звуку, що спотвориться під час руху м'язів і шкіри, наприклад, якщо людина почне посміхатися. Ці зміни навчили розпізнавати нейромережу, яка і відтворювала вирази обличчя. Гарнітуру EarIO вчені представили у Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies.

Дослідники з Корнелльського університету представили технологію акустичного розпізнавання виразу облич на основі штучного інтелекту ​​EarIO, яка здатна відтворювати емоції за допомогою гарнітури на голові навіть під час ходьби. Суть полягає у тому, що спрямовані на обличчя акустичні сигнали по-різному деформуватимуться залежно від різних виразів обличчя. Зміни виразу обличчя, які супроводжуються рухом шкіри і м'язів, здатні змінити профіль відлуння так, що навчена їх розпізнавати нейромережа, зможе за ними відтворити, наприклад, посмішку, не потребуючи при цьому складного обладнання, а зокрема камер, які вимагають значних енерго- та обчислювальних витрат. На навчання нейромережі знадобилося трохи більше пів години спостережень за змінами виразів обличчя.

Систему такого сонара, вмонтовану у звичайні навушники, випробували на 16 учасниках. Їм не були чутні звуки, які потрібні для роботи EarIO, адже вони лунали у діапазоні частот 16-20 кілогерців, що також є безпечним навіть під час безперервної роботи протягом дня, з огляду на рекомендації Центру з контролю та профілактики захворювань у США (CDC) та Управління з охорони навколишнього середовища США (EPA). У майбутньому дослідники планують розгорнути інтерфейс ​​EarIO на смартфоні та звичайних комерційних навушниках, хоча застерігають, що системі поки може заважати, наприклад, волосся біля обличчя, швидкий біг через додатковий рух, який може спотворювати дані, а також «індивідуальність» EarIO — нейромережа здатна розпізнавати емоції конкретної людини, навчаючись на даних саме її обличчя.

Більшість систем розпізнавання виразів обличчя, які потрібні у різних сферах, все ж засновані на даних з камер. Наприклад, за маркерами на обличчі надрукована на 3D-принтері голова змогла за ними зорієнтуватися і нахмурити чоло. Також за виразом обличчя штучний інтелект може розпізнати емоції корів та свиней, навчившись на відео з тваринами.

Як ще вас можуть пізнати нейромережі?

🧘🧦Наприклад, за сигналами з розумних шкарпеток із п'єзоелектричних ниток, нейромережа може впізнати одну з асан у йозі

✌️ А через пов'язку на руку може зрозуміти, який ви показуєте жест (знадобиться у дистанційному керуванні гаджетами)

😥😺А серцебиття може вказати нейромережі, радісно вам чи сумно

---