Браслет допоміг зіграти на піаніно у віртуальній реальності

Швейцарські інженери розробили браслет, який дасть змогу взаємодіяти із сенсорними інтерфейсами у віртуальній реальності, вловлюючи ваші дотики до поверхні. Оснащений двома акселерометрами девайс реагує на вібрації від дотиків та розпізнає їх за допомогою алгоритмів машинного навчання. Також він навчився розуміти деякі жести. Свій спосіб уникнути використання камер для розуміння дій користувача у VR дослідники представлять на конференції Proceedings of IEEE VR 2021.

ETH Sensing, Interaction & Perception Lab / You Tube

ETH Sensing, Interaction & Perception Lab / You Tube

Як доторкнутися до віртуальної реальності?

Віртуальна або принаймні доповнена реальність з кожним роком стають до нас ближчими. Facebook вже відмовилися від випуску шоломів Rift, які потребували підключення до комп’ютера, а з тим і наблизив нас до віртуальних офісів. Однак, в офісі зазвичай потрібно з чимось співпрацювати і тому доведеться натискати на клавіші клавіатури, взаємодіяти із сенсорними екранами та іншими, нехай і віртуальними, втіленнями кнопок. І для цього вашому VR-шолому доведеться навчитися відслідковувати ваші дії.

Нові покоління пристроїв відмовляються від ручних контролерів і, наприклад, система змішаної реальності Hololens 2 або віртуальної Quest 2, вже вміють розпізнавати жести. Однак, щоб віртуальна реальність «знала», що роблять ваші пальці, вам потрібно або вдягати спеціальні рукавички, або діяти безпосередньо перед камерою, вмонтованою у гарнітуру. І це головна перешкода повному переходу на віддалену роботу, адже системам складно встигати за вами і тому вони відставатимуть від швидкості, з якою ви встигли працювати за комп’ютером або телефоном.

Чим не підходить камера?

Віртуальна реальність, яка намагається відслідковувати ваші сенсорні взаємодії з її інтерфейсами за допомогою камери, бачить вас з єдиної точки огляду і тому погано розпізнає дотик або його відсутність, а також місце, де саме ви з чимось повзаємодіяли. Система змішаної реальності від Microsoft MRTouch поєднує в собі інфрачервону камеру та камеру глибини, але і все одно пропускає 3,5 відсотка ваших дотиків, а неправильно оцінуює всі 19 відсотків. Засновані на камерах підходи можуть побачити точне місце вашого дотику, однак для боротьби із шумами, швидкість відклику на ваші дії обмежується частотою кадрів камери і застосовуваними фільтрами.

Чим інженери замінили камери та рукавички?

У створеній ними системі TapID гумовий браслет оснащений двома акселерометрами. Вони отримуватимуть сигнали з кожного вашого пальця завдяки вібраціями, що виникатимуть під час дотику до поверхні. Оскільки шлях для вібрацій від кожного програмне забезпечення на основі машинного навчання на підключеному комп'ютері у режимі реального часу.

ETH Sensing, Interaction & Perception Lab / You Tube

Що пропонує браслет?

У своїй роботі вчені запропонували перенести всі прямі взаємодії у VR на пасивні поверхні. Так порівняно із взаємодією з повітрям, дотик до поверхонь дасть користувачам можливість відчувати зворотній зв’язок від дотику — ще один наріжний камінь віртуальної реальності. Так якщо ви носитимете окуляри або шолом віртуальної реальності, інтерфейси на кшталт піаніно або клавіатури комп'ютера можна буде проєктувати на будь-яку реальну поверхню, наприклад, на робочий стіл. Камера в окулярах знатиме, який саме палець знаходиться поруч з якою клавішею, а система вгадуватиме, що ви щось натиснули, вловлюючи дотик через браслет.

Щоб перевірити ефективність своєї системи, розробники запропонували 18 добровольцям пограти на віртуальному піаніно, набрати текст, розсортувати фото на панелі та повзаємодіяти з ігровими елементами на кшталт віртуального черепа. Так вони записали 3600 натискань, а точність розпізнавання дій користувачів склала 99,7 відсотка. Таким чином TapID показав себе набагато краще, ніж подібні системи, а за словами вчених, їхню технологію можна буде не просто використовувати як окремий браслет, а і, наприклад, вмонтувати у ваш розумний годинник.