В связи с недавней утечкой внутренних архивов, объявляется мобилизация сил Инициативы Универсальной Автономности!

Что-то надо написать в интро...

Инициатива Универсальной Автономности (Universal Autonomy Initiative, UAI) - подразделение фонда SCP open-source исследовательская инициатива, основанная в рамках Лаборатории Мобильной Робототехники Сколтеха. Наша, так сказать, организация ставит перед собой следующие задачи:

- Популяризация рисерча в области робототехники в восточной Европе, в особенности того, что в русских деревнях называют robot learning
- Достижения той самой Universal Autonomy (не путать с AGI!), о которой расскажем в отдельном посте
- Разбор хайповых (и не очень) статей по сабжу
- Создание позитивного культурно-меметичного слоя
- [ДАННЫЕ УДАЛЕНЫ]
- [ДАННЫЕ УДАЛЕНЫ]
- [НЕРАЗБОРЧИВО]

Но, на практике мы, конечно же, будем клепать мемы, перформансы и brainrot-животных.

STAY TUNED

Кста включили комменты

А вот и пруфы на ориджинал контент

Для разогрева репостним пока старые посты с дружественного канала!

Tags: #robotics #llm #reinforcement_learning

Title: Machine Learning in Robotics: a Brief Overview (Part 1)

TLDR: Вступительный пост к серии постов на тему применения машинного обучения, и, в частности, больших языковых моделей в задачах роботехники.

Недавно, я познакомился с областью робототехники и увидел в ней большой потенциал для искусственного интеллекта (для меня робот, выполняющий все бытовые обязанности предел мечтаний). Поэтому мне самому стало интересно погрузиться в эту тему и познакомить вас с ней. Поэтому я обратился к аспиранту Сколтеха Тимуру Ахтямову с просьбой рассказать о применении машинного обучения в этой области. Он согласился и поэтому вас ждёт увлекательная серия постов, посвященная ML в роботехнике.

———

Думаю, многие из тех, кто внимательно следит за миром искусственного интеллекта, заметили возросший интерес ряда крупных игроков, таких как Google (в лице DeepMind и Google Robotics), Meta и других корпораций, к применению LLM-ок и мультимодальных моделей в области робототехники, что, как мне кажется, привлекло к ней внимание многих ребят из "чистого" ML. В связи с этим в грядущей серии постов хотелось бы с одной стороны рассказать о том, какие проблемы решает машинное обучение в робототехнике, какую роль здесь играют языковые модели и почему их применение потенциально может привести к революции в индустрии, а с другой стороны сформировать некий хотя бы поверхностное введение в роботехнику для МЛ-ребят, не имевших опыта с работы с "околожелезячными" задачами.

1. Что представляют из себя роботы с точки зрения программного обеспечения

Начать наше путешествие стоит с базового представления о том, как устроено ПО, которое оперирует роботами. Да, вопросы механики и электроники рассматривать мы не будем - это было бы слишком для DL-блога) Привести строгую иерархию и/или классификацию решаемых задач довольно сложно, т.к. у разных типов роботов (колесные/гусеничные мобильные роботы, манипуляторы, четвероногие роботы) есть свои особенности. Однако, следующие задачи так или иначе актуальны для большинства роботов:

• Управление (control)
• Восприятие (perception)
• Планирование (planning)

Управление (control), пожалуй, находится наиболее близко к границе между софтом и железом. Как бы очевидно это не звучало, но задача управления - привести робота в движение в соответствии с входным управляющим воздействием при наличии различного рода отклонений и внешних воздействий (например, изменяющиеся параметры трения, массы робота, и многое другое). Все это дело строится по большей части на основе теории автоматического управления (ТАУ), в англоязычных источниках её также называют Control Theory или просто Controls.

К восприятию (perception) относят все, что помогает роботу понимать, что происходит в окружающем его мире. В первую очередь, к этому относится обработка показаний всевозможных сенсоров и извлечение полезных данных из их показаний. Одними из самых сложных и самых важных направлений здесь являются задачи, связанные с "пониманием" роботом своего положения и движения в пространстве, а именно:

• Картирования (mapping) - построение карт пространства;
• Локализации (localization) - определения положения по построенной карте;
• Одометрии (odometry) - оценка перемещения робота относительно начальной позиции.

Первые две задачи часто объединяют в одну под названием simultaneous localization and mapping (SLAM).

• Планирование (planning) часто относят к высокоуровневым компонентам роботехнического стэка, т.е. максимально отдаленных от железа и, во многих случаях, универсальных в пределах "типажей" роботов. Здесь хотелось бы привести субъективную классификацию направлений:
• Планирование пути (path planning) - поиск маршрута к заданной точке на карте (либо без нее);
• Планирование движения (motion planning) - в какой-то степени более обобщенное видение предыдущего пункта - планирование последовательности промежуточных состояний робота для достижения целевого состояния (актуально, например, для манипуляторов и гуманоидных роботов);
• Планирование поведения (behaviour planning) - планирование некой высокоуровневой последовательности действий, или миссии для робота

Стоит отметить, что данная схема направлений не является строгой - так, например, многие методы находятся на стыке или инкапсулируют в себе сразу несколько направлений, чаще всего - планирование и управление, либо планирование и восприятие.

2. Как и зачем мы можем применить машинное обучение

Для всех направлений, безусловно, существует множество классических, устоявшихся подходов. Однако, накопленный индустрией опыт выделяет следующие проблемы, которые может помогает решить ML:
• Сложность построения и тюнинга математических моделей (актуально в первую очередь для управления и планирования), а также проблема их устойчивости - для решения этой проблемы активно развивается применение методов Reinforcement, Supervised и Self-supervised Learning;
• Область восприятия во многом строится на методах 2D и 3D компьютерного зрения. Для задач детекции объектов, очевидно, у нас есть SOTA-нейронные детекторы. Для решения задач локализации и картирования классические методы сами по себе являются довольно сильными бейзлайнами, и одно из направлений применения ML - это глубокие методы 2D и 3D Feature Extraction и Feature Matching;
• Работа с "неформальными" входными данными и целями. Пример подобных задач - движение робота с соблюдением каких-либо правил (например, социальных норм), или, например, поиск объекта и последующая манипуляция на основе только лишь изображения или текстового описания объекта. В подобных примерах очень тяжело составить математические модели и постановку задачи, и здесь на помощь приходят те же RL, Self-supervised Learning, а также LLM-ки.

Однако, вместе с применением ML возникают и дополнительные сложности:
• Проблема "переноса из симуляции в реальный мир" (Sim2Real gap) - актуально в первую очередь для RL-политик и ряда vision-моделей, обученных в симуляторах;
• Проблема generalization, в общем-то ставшая классикой для ML;
• Проблема безопасности и сертификации - для ряда классических подходов к управлению и планированию были разработаны методы, позволяющие получить некоторые формальные гарантии к безопасности системы, в подходах на основе ML с этим все обстоит намного сложнее.

Эти, а также многие другие области применения и вызовы мы рассмотрим в следующих постах на примере различных публикаций, как свежайших, так и уже ставших "классикой"!

3. Ссылки для ознакомления по применению ML в робототехнике

Хороших вводных материалов по всем областям найти сложно (либо я плохо гуглил), но вот что пожалуй прикреплю, по крайней мере часть из них могу настоятельно рекомендовать:

● Репозиторий PythonRobotics -крутой образовательный репозиторий с реализациями методов локализации, картирования и планирования. Можно позалипать на анимации и погуглить подробнее про интересующие методы.
● Overview of Robot Perception - нагуглил презу с вводной лекции курса по perception, можно как минимум посмотреть на постановки задач и разные сенсоры
● Introduction to SLAM -вводный пост про SLAM от ведущего производителя лидаров
● SLAM for Dummies - несмотря на название, имхо очень хорошая вводная "методичка" для тех, кто хочет углубиться в SLAM
● Motion Planning and Control for Mobile Robot Navigation Using Machine Learning: a Survey
- большой, но хороший обзор по соответствующей теме.
● The Theory of Control: A Brief Overview - очень сжатый пересказ базы из теории управления, скорее подойдет тем, кто уже изучал её и хочет освежить в памяти основы.
● Скину пожалуй пару ссылок на awesome-подобные репозитории: первый, второй, Awesome-embodied-vision и Awesome-LLM-Robotics.