Інженери з MIT спробували навчити робота вишукувати потрібні речі серед купи інших. Для цього їм знадобилися RFID-мітки, які підказували роботу, що саме йому потрібно знайти, пошуковий алгоритм, а також камера, що допомагає упевнитися в успіху пошуків. Так робот може виконувати завдання з різноманітними предметами у будь-якому середовищі із 96-відсотковим успіхом, де безлад не стане йому на заваді. Свою розробку вчені представлять на конференції ACM SenSys'21 наступного місяця.
Навіщо роботу розгрібати мотлох?
Помітний прогрес в системах технічного зору дозволив роботам сприймати, знаходити і захоплювати предмети в неструктурованих середовищах, які спеціально для роботів не готували. Великі компанії, такі як Amazon, Uniqlo і FedEx вже залучають роботів-комплектувальників на свої склади. Стандартна роботизована завдача у такому випадку полягає у тому, що роботам необхідно розібратися зі своїми цілями, відрізнити їх від інших, а потім вже ними маніпулювати. Однак, якщо цільовий об'єкт повністю закритий, робот не може його виявити, а тому у підсумку безрезультатно застрягає вже на етапі пошуку. Мотивовані бажанням не ставити роботів у глухий кут, інженери шукають простих способів спростити їм завдання. Так, наприклад, розглядаються підходи з використанням радіочастотної локалізації. Оскільки радіочастотні сигнали можуть проходити через більшість поверхонь, позначений так предмет пошуку точно буде ідентифікований, наприклад, за RFID-міткою, і змусить робота рухатися одразу до нього, що зробить процес пошуку більш ефективним.
Однак існуючі системи, які використовують радіочастотну локалізацію, можуть працювати тільки з простими об'єктами і вимагають попереднього знання форми і / або орієнтації об'єкта. Крім того, цим системам потрібне окреме обладнання для локалізації та калібрування радіочастотного випромінювання. В результаті вони можуть працювати тільки в обмежених середовищах, які вже оснащені необхідною інфраструктурою. У своїй новій роботі інженери з MIT з аналогічним бажанням використовувати переваги радіочастотної локалізації для роботів-маніпуляторів, вирішили знайти метод пристосувати цей підхід для системи захоплення без інфраструктури, форми і орієнтації. Так вони представили повністю інтегрованого робота RFusion, який забезпечує захоплення в умовах як прямої, так і непрямої видимості.
Як йому побачити предмети?
Подібно попереднім роботам, в яких використовуються радіосигнали, RFusion передбачає, що цільові об'єкти позначені RFID-міткою. Але на відміну від минулих систем, його оснастили ще й камерою, яка усуває необхідність в окремій інфраструктурі, а також в будь-якому пов'язаному з ним процесі калібрування. А завдяки тому, що камера і радіоантена інтегровані в робочий орган робота, система може використовувати мобільність руки для локалізації та захоплення цільового об'єкта незалежно від його форми або орієнтації. Однак оскільки цільовий об'єкт може бути прихований або знаходитися поза полем зору камери, робот не зможе його візуально сприймати. Більш того, оскільки робот має всього одну антену, закріплену на зап'ясті (а не окрему апаратуру для локалізації RFID), він не може безпосередньо локалізувати мітку. В принципі, можна було б проінструктувати робота маневрувати рукою для сканування тривимірного середовища в пошуках мітки. Однак такий підхід був би трудомістким і неефективним, адже займав би багато часу. Роботу потрібно було б захопити багато об'єктів в купу, перш ніж він нарешті захопить цільовий.
З огляду на можливі місця розташування, можна було б припустити, що можна вказати роботу просто наблизитися до області, де можливі місця розташування найбільш сконцентровані. Але на практиці такий підхід може призвести до поганої точності, оскільки якщо робот переміщує руку безпосередньо до передбачуваного місця розташування, його точки огляду будуть близькі один до одного, що знизить точність. І так само якщо робот переміщує захоплення далі від передбачуваних місць розташування, щоб отримати кращу точність локалізації, він збільшить загальну траєкторію захоплення, що знову знизить точність. Щоб вирішити цю проблему, інженери представили її як задачу мінімізації траєкторії і вирішили за допомогою навчання з підкріпленням, що дозволило роботу з успіхом в 96 відсотків відшукати потрібні предмети.
Що шукав робот?
Система працює зі стандартними пасивними RFID-мітками і звичайними роботизованими маніпуляторами з 6 ступенями свободи. Він може витягувати предмети з мітками в зоні прямої видимості, а також ті, які знаходяться під купою інших речей або в умовах низької освітленості. RFusion не потрібно точно знати, де RFID прикріплений до елементу, і при цьому він не знає, де сам предмет з RFID знаходиться в його робочому просторі. Система починає з використання антени, встановленої на зап'ясті, для вибіркового запиту RFID на цільовому об'єкті. Потім він використовує відгук RFID для обчислення відстані туди і назад до мітки. Оскільки однієї відстані туди і назад недостатньо для локалізації, робот об'єднує радіочастотну і візуальну інформацію з камери.
Робот шукав мітки, прикріплені до стандартних предметів повсякденного користування: канцелярське приладдя та кухонні предмети, як-то рукавички, пластикові пляшки, іграшки, коробки і мотки ниток. Дослідники протестували RFusion в декількох різних середовищах. Вони закопали брелок в коробку, повну «мотлоху», і сховали пульт дистанційного керування під купою речей на дивані. У майбутньому інженери сподіваються збільшити швидкість системи, щоб вона могла рухатися плавно, замість того, щоб періодично зупинятися для проведення вимірювань.