NDDS - Синтезатор наборов данных NVIDIA Deep Learning

NDDS - это подключаемый модуль UE4 от NVIDIA, позволяющий исследователям компьютерного зрения экспортировать высококачественные синтетические изображения с метаданными. NDDS поддерживает изображения, сегментацию, глубину, позу объекта, ограничивающую рамку, ключевые точки и пользовательские шаблоны. Помимо экспортера, плагин включает в себя различные компоненты для генерации сильно рандомизированных изображений. Эта рандомизация включает освещение, объекты, положение камеры, позы, текстуры и отвлекающие факторы, а также отслеживание пути камеры и т. Д. Вместе эти компоненты позволяют исследователям легко создавать рандомизированные сцены для обучения глубоких нейронных сетей.

https://github.com/NVIDIA/Dataset_Synthesizer

#rl #dl #nn #image #generator

​​Обучение с подкреплением и классические подходы к планированию в робототехнике

Применение обучения с подкреплением (reinforcement learning, RL) в робототехнике часто ограничено доступностью и качеством используемых данных. В тоже время, часто приближенные модели среды часто доступны при решении задач, что делает подходы основанные на моделях (model-based, MB) подходы хорошей альтернативой, не требующей большого количества данных, но их производительность часто страдает от неточностей в этих моделях.

Таким образом, заметно, что данные подходы комплементарны друг другу:
- MB требует знаний об окружающей среде (-), а RL не требует (+)
- Результат операции в MB зависит от качества модели (-), а в RL от оптимальной стратегии (policy) (+)
- MB эффективен в использовании вычислительных ресурсов (+), а RL не очень (-)
... а значит их можно комбинировать, извлекая пользу из обоих подходов, дополняя их друг другом.

К такому выводу пришли авторы исследователи лаборатории Marc Toussaint в Германии и попробовали реализовать данный подход в фреймворке Learning to Execute (L2E) (paper, github), который показал гораздо большую производительность по сравнению с подходами чистого RL, чистого MB и другими learning&planning подходами. Фреймворк использует информацию, содержащуюся в ориентировочных планах для обучения универсальных стратегий, которые обусловлены этими планами. То есть планировщик формировал план из промежуточных подцелей, которые служили ориентиром для агента при обучении.

В экспериментах использовались:
- планировщик RRT
- RL-алгоритм HER (Stable Baselines3 SAC Agent)
- движок физики NVidia PhysX
- Nvidia RTX-3090 GPU, AMD EPYC 7502 CPU для обучения агентов
- набор скриптов создания фотореалистичных симуляций в blender bpy-scripting (входными данными для скриптов являются файлы в формате Collada, описывающие сцену, и текстовый файл Anim.txt который описывает как все движется).

Видео доклад от автора: https://www.youtube.com/watch?v=tbbiXFjucQ8

#RL #modelbased #combo

​​Open X-Embodiment - коллекция открытых датасетов для роботов-манипуляторов

Датасеты ориентированы на разработку “универсальной” политики (policy) X-robot, которая может быть эффективно адаптирована к новым роботам, задачам и средам. Датасеты собраны с 22 различных роботов в результате сотрудничества между 21 учреждением и содержат всего 527 навыков (160266 задач). Обученная на этих данных высокопроизводительная модель под называем RT-X демонстрирует хорошую переносимость от робота к роботу.

https://robotics-transformer-x.github.io/

#rl #dataset