Дослідники з Каліфорнійського університету розробили пов’язку на передпліччя з тонкої плівки з чіпом, яка за 64 точками на руці здатна розпізнати 21 жест, у тому числі кулак, числа та піднятий догори великий палець. Пристрій працює на основі електроміографії та досягає точності 93 відсотки, повідомляють вчені у статті, опублікованій у журналі Nature Electronics.
UC Berkeley / YouTube
Як можна розпізнавати жести?
Останні досягнення в області гнучкої електроніки дозволили виготовляти носимі датчики, які можуть механічно згинатися і відповідати непласким і динамічним поверхням людського тіла. І паралельно інженери також використовують так звані гібридні системи, що поєднують гнучкі датчики з жорсткими обчислювальними компонентами. Такі системи корисні для додатків, що вимагають локальної обробки фізіологічних сигналів в реальному часі. Пристрої контролюють м'язову активність на основі поверхневої електроміографії за допомогою електродів, розміщених на поверхні шкіри. Для класифікації жестів розробники зазвичай використовують моделі машинного навчання. Однак більшість пристроїв з локальної обробкою не можуть запропонувати навчання і оновлення моделі безпосередньо під час використання, що призводить до помилок та хибного спрацьовування датчиків. Такі системи не зможуть адаптуватися, наприклад, до змін сигналів від потовиділення, стомлення, зміни сили м'язового скорочення або зміщення електродів через зміни положення кінцівок і тіла або просто надягання пристрою.
Що пропонують інженери?
Інженери розробили портативну біосенсорну систему для поверхневої електроміографії на основі трафаретного друку матриці електродів, яка здатна підлаштовуватися під нові умови, навчаючись безпосередньо у процесі її використання. Вчені сполучили м’які датчики вимірювання, обробки і телеметрії та жорсткі кремнієві інтегральні схеми на гнучкій підкладці з поліетилентерефталату (ПЕТ). ПЕТ є дуже гнучким матеріалом, який легко адаптується до складної тривимірної форми м'язів передпліччя під час скорочень і розслаблень. Електродна решітка має 64 провідних канали і використовує малопотужну спеціалізовану інтегральну схему (ASIC) для збору даних електроміографії. Вона записує та оцифровує сигнали з декількох каналів, близьких до електродів, зменшуючи необхідність у громіздких кабельних з'єднаннях між електродами і схемами перетворення сигналу.
Як працює пристрій?
Інженери розробили нарукавну пов'язку з тонкої плівки із комп'ютерним чіпом, яка обертається навколо передпліччя користувача. Електричні датчики виявляють нервові сигнали в 64 точках руки, а алгоритм на основі штучного інтелекту, вивчає їх відповідно до шаблонів жестів. Коли користувач робить один з відомих алгоритму жестів або планує його зробити, система може визначити, що це за жест, зіставляючи отриманий нервовий сигнал з тим, який вона вже має у своїй бібліотеці.
Система може класифікувати 13 жестів руками з точністю майже 98 відсотків для двох різних людей при попередньому навчанні в умовах одного випробування на жест. Така ж висока точність, 93 відсотки, зберігається і при розширенні до 21 жесту. Після оновлень точність збільшується на 9,5 відсотка без додаткових обчислень на зовнішньому пристрої. Так пов’язка може розпізнати кулак, великий палець вгору, пласку руку, підняття окремих пальців і підрахунок пальцями чисел. Всі функції системи, у тому числі збір даних і навчання, об'єднані в компактний пристрій, який не вимагає зовнішніх обчислень. Вчені припускають, що їх пристрій можна буде використовувати не лише для дистанційного управління гаджетами та віртуальної реальності, а і для протезів на частинах рук.