Awesome Robotics Manipulation

Регулярно обновляемая подборка исследований по теме Роботов-манипуляторов с датами публикаций и ссылками на репозитории исходного кода.

https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation

#list #awesome #manipulation

​​Основные подходы к использованию машинного обучения в Robotics Manipulation

Imitation Learning - симуляция не нужна, записываются демонстрации движений, на базе которых производится обучение и дальнейший инференс. Получил популярность, благодаря таким проектам как Aloha и LeRobot. Этот метод мы в Robossembler сейчас испытываем, используя промышленного коллаборативного робота и его уменьшенную кинематическую копию.

Reinforcement Learning - делится на Online (сбор данных и обучение происходят одновременно) и Offline (сбор данных отдельно, обучение отдельно); требует более сложной настройки - функции наград, условий начала и конца эпизодов в симуляции, параметров рандомизации сцены. На этот метод мы рассчитывали, разрабатав env-manager (менеджер виртуальных сред); он более сложный из-за Sim2Real Gap, сложности настройки сред и их быстродействия.

Foundation Model - берётся pre-trained модель, производится опциональный её тюнинг и инференс. Пока не пробовали, но выглядит перспективно. Тем более, при наличии общедоступных foundation VLA моделей весов типа π0.

#learning #robotics #manipulation