​​CoRL'21

Опубликованы видеозаписи докладов с Conference on Robot Learning - крупнейшего глобального мероприятия по тематике Обучения роботов, прошедшего с 8 по 11 ноября 2021 года в гибридном онлайн-оффлайн-формате. По всем докладам есть публикации. Официальный сайт.

#corl #learning #event

​​Немного об Aloha

Нашумевший не так давно проект Mobile Aloha подтверждает мою гипотезу о том, что высокие требования к аппаратно-механическим возможностям роботов могут быть в какой-то мере снижены за счёт развития программного обеспечения и автоматизации его разработки (в том числе через обучение). Конечно, называть говном с палками комплекс за $32k для текущего курса доллара к рублю можно с большой натяжкой, но это действительно очень невысокая цена за мобильного двуручного манипулятора. Используемые в проекте роборуки ViperX и WidowX от Trossen Robotics на серводвигателях Dynamixel не входят в категорию промышленных и позиционируются как роботы для исследований. Однако, для тех задач, которые были поставлены авторами Aloha, их характеристики оказались достаточными, если дополнить их такими железками как CPU Intel i7-12800H с GPU NVidia 3070 Ti и применить немножко мышления инженера с Open Source Software. В таком случае от робота не требуются высокие показатели, связанные с качеством производства (у ViperX повторяемость 1 мм., а точность 5-8 мм., Карл!), а отказоустойчивость можно обеспечить на уровне надсистемы (окружения) - если робот сломался, то всегда есть ЗИП из таких же самых.

В исследовании любопытен скорее не сам робот, а подход к программированию через имитационное обучение с демонстрацией задач операторами. Подход в узких кругах известный - гуглите "learning from demonstration". В Aloha использовались достаточно известные подходы ACT, Diffusion Policy и VINN. Для каждой задачи было сделано от 20 до 50 демонстраций оператором, что позволило достичь около 90% показателя успешности завершения некоторых из задач. В качестве исходных данных использовались датасеты от стационарного комплекса из двух роборук Static Aloha, полученные в одном из предыдущих исследований авторов https://tonyzhaozh.github.io/aloha/. Могу допустить, что для тех задач, где цена ошибки может быть не очень высокой, такой подход будет вполне допустим и в производстве. По мере накопления данных предсказуемость этого метода будет расти.

#learning #6dof #imitation

Новые подходы к программированию и внедрению роботов

В доступной форме развернул тезисы, которые делал на основе анализа проекта Mobile Aloha в начале года.

https://www.youtube.com/watch?v=3-C6HeXu8Tg

#imitation #learning #forecast

​​Основные подходы к использованию машинного обучения в Robotics Manipulation

Imitation Learning - симуляция не нужна, записываются демонстрации движений, на базе которых производится обучение и дальнейший инференс. Получил популярность, благодаря таким проектам как Aloha и LeRobot. Этот метод мы в Robossembler сейчас испытываем, используя промышленного коллаборативного робота и его уменьшенную кинематическую копию.

Reinforcement Learning - делится на Online (сбор данных и обучение происходят одновременно) и Offline (сбор данных отдельно, обучение отдельно); требует более сложной настройки - функции наград, условий начала и конца эпизодов в симуляции, параметров рандомизации сцены. На этот метод мы рассчитывали, разрабатав env-manager (менеджер виртуальных сред); он более сложный из-за Sim2Real Gap, сложности настройки сред и их быстродействия.

Foundation Model - берётся pre-trained модель, производится опциональный её тюнинг и инференс. Пока не пробовали, но выглядит перспективно. Тем более, при наличии общедоступных foundation VLA моделей весов типа π0.

#learning #robotics #manipulation