Японські інженери все ж добилися від робота достатньої точності координації його двох рук, щоб він зміг очистити банан так, щоб фрукт лишився придатним для споживання. На це роботу знадобилося трохи більше 13 годин навчальних відео і трохи менше трьох хвилин маніпуляцій кінцівками. Успіх у чищенні банана забезпечив підхід глибинного імітаційного навчання, з яким алгоритми не зосереджувалися на простих задачах, але навпаки, генерували окреме рішення на кожну дію, покладаючись на зміни такого тендітного предмета як банан. Детальніше підхід до навчання робота вчені описали на сервісі препринтів arXiv.
Heecheol Kim / University of Tokyo
Навіщо роботам чистити банани?
Хоч як би це не звучало, очищення банану є насправді складним, тим паче для робота, завданням. По-перше, це доволі м'який фрукт, а тому потребує певної спритності, щоб не пошкодити його при очищенні. По-друге, всі банани різні, а тому отримати точну навчальну модель банана, за якою можна було б навчати роботів доволі складно. Тим паче що залежно від рівня стиглості кожен банан і ви чиститимете по-різному. І тому не дивно, що досі не було готових інженерних рішень для роботів, яким для очищення бананів знадобилися б складні алгоритми з планування рухів і сенсомоторні навички.
Нерівномірна форма фруктів, яка може значно відрізнятися навіть у фруктів одного і того ж виду і яка збиває з пантелику алгоритми комп'ютерного зору, кінцівки роботів, які страждають від низької моторики, і потреба у складних навчальних підходах — все це перетворює завдання з очищення бананів на цікавий виклик. Тому за нього взялися інженери з Токійського університету.
Як довірити роботу в руки фрукт?
Спробуйте на словах пояснити крок за кроком, як ви чиститимете банан — насправді це складно, адже ви, на відміну від роботів і їхніх алгоритмів, підсвідомо добре володієте своїми руками. І хоча вчені й «нав'язують» роботам свої підходи до того чи іншого завдання, це складно пристосувати до складних завдань з маніпуляції, у яких робот має активно адаптувати свої навички разом зі змінами станів об'єкта. Тому роботам потрібний безмодельний метод глибинного навчання.
Щоб не витрачати велику кількість обчислювальних потужностей на спостереження за діями «експертів» та уникнути помилок, які виникатимуть при довгостроковому плануванні дій робота, дослідники запропонували розділити рух робота на глобальні та локальні дії.Пропонований метод передбачає негайну реакцію від робота, коли потрібне точне маніпулювання цільовим об'єктом (локальна дія), і генерує всю траєкторію рухів, коли точне маніпулювання не потрібно (глобальна дія).
Так «загально» робот поставить свою руку у потрібне положення, щоб почати чистити банан, але кожну наступну дію з чищення виконуватиме, керуючись «локальними» діями, безпосередньо оцінюючи зміни положення фрукту у руці та його характеристики.
Послідовність дій робота, який досяг успіху у чищенні банана. Heecheol Kim et al.
Чи вдалося з'їсти почищений роботом банан?
У ході цього дослідження інженерам довелося очистити бананів на 811 хвилин навчальних відео для свого дворукого робота. Сам робот, до речі, не має складних кінцівок та обмежується всього двома «пальцями»-пластинами, якими той маніпулює, стискаючи їх і розтискаючи. Завдання для робота розділили на дев'ять етапів: від захоплення банана до підхоплення його зі столу однією рукою, захоплення кінчика іншою, очищення його, а потім переміщення банана так, щоб можна було видалити решту шкірки. І кожне підзавдання вимагає, щоб попереднє підзавдання було виконане успішно. На найскладніших етапах, для «локальних» дій, робот використовував дані, отримані за допомогою стереокамери, яка стежила за бананом у його руках.
Всього роботу довірили 15 бананів середньої зрілості, на яких зробили надріз, щоб робот своїми «пальцями» міг взятися за шкірку. За словами інженерів, за переспілим бананом, шкірку якому робот міг зняти і без додаткового надрізу, йому було вкрай складно слідкувати через його м'якість. А без надрізу шкірка надто жорстка і кінчики пальців просто не могли її підхопити потрібним чином.
Невдала спроба, за якої робот впустив фрукт з рук. Heecheol Kim et al.
У ході випробувань робот зміг успішно очистити банан у 57 відсотків випадків. Весь процес зайняв у нього менше ніж 3 хвилини. Цей результат важливий з двох причин: по-перше, такі спритні маніпуляції робота з об'єктом, що деформується, можливі без специфічної конструкції робота. Тобто не потрібно виготовляти окремий маніпулятор для чищення банана чи іншого подібного предмета. По-друге, свої навички робот авторів цієї роботи набув не маючи великої кількості навчальних моделей і заздалегідь визначених правил маніпулювання. Таким чином, запропонований метод може не обмежувати роботів чищенням бананів, а і підготувати їх для інших подібних завдань, які потребують точності координації рухів.
New Scientist / YouTube
Тож, можливо, чекаємо відео з чищенням мандаринів. А поки можна згадати, як, наприклад, американські інженери навчили свого робота з двома пальцями-пластинами місити тісто, покладаючись на положення своїх подушечок на пальцях. Також нещодавно ми писали, як маніпулятор з двома пальцями зміг вхопити монетку зі столу та навіть листочки паперу товщиною всього у пів міліметра.