Американські інженери знайшли спосіб замінити роботам відчуття дотику та навчили їх сприймати речі на слух. Так роборука з камерою і мікрофоном відшукала у сумці зв'язку з ключами за дзвоном, пачку чипсів за шелестом і упаковку ліків за стуком пігулок. Загалом маніпулятор справився із пошуками у 70 відсотках спроб, а у майбутньому йому мають додати ще один мікрофон, щоб роботу було простіше локалізувати предмети за звуком. Робота вчених доступна на arXiv. Її представлять на конференції Robotics: Science and Systems 2022.
Maximilian Du et al., 2022
Часто шукати ключі у сумці доводиться наосліп, занурюючи руку на дно торби і намагаючись або нащупати їх пальцями, або йти за дзвоном зв'язки на слух. Роботів так само спіткає проблема пошуку предметів наосліп, але на відміну від людей, подарувати їм відчуття дотику набагато складніше технологічно. І команда інженерів зі Стенфордського університету спробувала замінити відчуття дотику на хороший слух і так навчила свого робота шукати приховані предмети.
Для того, щоб робот зміг своїми двома пальцями копирсатися у сумці та щось у ній знаходити, йому потрібна камера, як від третьої особи відстежує його рухи і торбу (при цьому об'єкт пошуку не потрапляє у її поле зору), пропріоцептивні датчики, які стежать за зміною положення маніпулятора, та нейромережа, яка оцінюватиме аудіо, що їх запише мікрофон на самому роботі. Завданням робота є дістати предмет з сумки і продемонструвати знахідку на камеру. А щоб він краще розумів, що від нього потрібно, перед початком випробувань йому демонстрували пошук предметів у сумці за допомогою одного з інженерів з контролерами гарнітури віртуальної реальності Oculus Quest 2, з якими потім коригували дії робота з сумкою онлайн.
Maximilian Du et al., 2022
Так робот рухається всередині сумки доти, доки не почує характерний звук, що дасть йому сигнал, що його пошуки увінчалися успіхом. Автори роботи зазначають, що без звуку робот не просто не може визначити, коли він знайшов свою ціль, а також не може спланувати свої рухи та, відповідно, погано справляється із завданням. Разом з мікрофонами і навчанням у тому числі під час виконання завдань завдяки допомозі операторів, робот справився із 70 відсотків пошуків, що на 50 відсотків успішніше за його спроби без «слуху», тобто без мікрофонів. Шукати йому довелося ключі, ручки, чипси і пігулки. Однак важливо зазначити, що при цьому «тихі» предмети на кшталт клаптика тканини або губки йому знайти не вдавалося.
Інженери зазначають, що хоча поки система значно залежить від контролю з боку оператора, у майбутньому вчені планують застосувати навчання з підкріпленням, щоб зробити навчання робота у процесі пошуків більш автономним, а також і розширити його можливості двома мікрофонами і навичками розпізнавання предметів за звуком, щоб він міг визначати, що саме знайшов, і вже на основі цього планувати свої наступні дії.
New Scientist / YouTube
Ми не вперше розповідаємо, як роботів залучають до проблеми пошуку ключів. Наприклад, інженери з MIT спробували для цього RFID-мітки і радіоантену, що допомогло роботу розгребти купу речей у пошуках. А іншому роботу тактильний датчик допоміг покопирсатися у піску у пошуку потрібних речей.