Робот-гуманоїд Unitree G1 навчився долати перешкоди не лише ногами, а всім тілом — опиратися руками на бар'єр і перекочуватися через нього на спині, перескакувати через перешкоду з перекатом через голову та застрибувати на короб сідницями. Ключем до успіху стала камера глибини на голові робота: завдяки їй він сам оцінює відстань до перешкоди й коригує розбіг, не потребуючи ні GPS, ні зовнішніх камер, ні точного стартового положення. Дослідження опублікували на сайті препринтів arXiv.

Як робот навчився паркуру?

Роботи, які бачать рельєф і підлаштовують під нього ходу, існують давно — але досі вони взаємодіяли з довкіллям виключно ступнями. Руки та корпус слугували лише для балансу. Водночас роботи, яких навчають копіювати рухи людини із записів системи захоплення руху, здатні на складні трюки — але виконують їх «наосліп», без уявлення, де саме стоїть перешкода. Якщо поставити такого робота на 30 сантиметрів далі від коробки — він промахнеться із рухами рук повз край і впаде.

Інженери з Університету Цінхуа поєднали обидва підходи в одній нейромережі. Спершу вони записали рухи живих паркуристів системою захоплення руху, одночасно просканувавши перешкоди лідаром. Ці дані перенесли на 29-суглобове тіло G1 і натренували нейромережу методом навчання з підкріпленням у тисячах паралельних симуляцій NVIDIA Isaac Lab: робот отримував винагороду за точне відтворення еталонного руху і штраф за різкі рухи та небажані зіткнення. Робота вчили чотирьох рухів на трьох типах поверхонь — трикутному бар'єрі з дорожніх рамп, дерев'яному коробі 0,5 на 0,6 на 0,4 метра та рівній підлозі.

«Бачить» робот за допомогою камери глибини Intel RealSense D435i, що працює з частотою 50 кадрів на секунду. Робот бачить перешкоду й сам подовжує чи скорочує кроки, щоб точно влучити руками та ногами. Без камери робота треба ставити в ідеальну точку старту, а з нею — він стовідсотково виконує трюк у зоні 1,2 на 1,2 метра навколо розрахункової позиції. Щоб нейромережа не розгубилася від реальних недоліків камери — відблисків, розмиття, помилок стереоалгоритму — під час тренування до кадрів додавали шум та штучні плями. Весь «мозок» працює на борту робота лише на центральному процесорі, без графічного чи жодної зовнішньої інфраструктури. Систему випробували й у приміщенні, і надворі.

Чого ще навчають людиноподібних роботів

🛹 Нещодавно робота Unitree також навчили кататися на скейтборді, самостійно тримаючи рівновагу на дошці.

🥊 Цього ж робота навчили боксувати, поставивши на ринг як суперника іншому роботу та реальній людині.

🪑 А от японський робот MusashiOLegs опанував катання на стільці з колесами, що дозволить йому переносити вантажі.