Phobos

Видео-презентация повествует об истории создания URDF-плагина Phobos для Blender из далёкого (по нынешним темпам развития) 2015-го. Мотивация у авторов была связана с тем, что сама задача генерации описания робота в формате URDF для симулятора Gazebo была весьма распространённой в сообществе робототехников, однако требовала либо ручного редактирования XML-файлов (что утомительно и чревато ошибками), либо установки мощного CAD'а типа Solidworks (что дорого для такой небольшой задачи).

Плагин до сих пор жив и пытается поспевать за новыми версиями Blender - последний на текущий момент commit был в декабре 2021. Позволяет выгружать .obj, .stl, .dae меши, а также форматы .urdf, .smurf, .scn/.scene, .sdf.

#urdf #blender #export

​​RBG-only оценка позиции

Камера глубины необязательна, если Вам заранее известны модели манипулируемых объектов. К такому выводу пришли авторы исследования 6D Robotic Assembly Based on RGB-only Object Pose Estimation, в котором продемонстрировали работу системы автоматизированной сборки на базе 2D object detection/pose estimation. Пройдёмся и по этой публикации.

Датасеты для обучения агентов машинного зрения формировались с помощью BlenderProc, процедурного конвейера для генерации фотореалистичных изображений с помощью Blender API. Необходимая в такого рода задачах рандомизация обеспечивалась заменой текстур из библиотеки CC0 Textures library. В качестве движка физики использовался PyBullet. Порядок сборки задавался вручную.

Всего было обучено две нейросети - отдельно для обнаружения объектов по 2D-изображению (YOLOv4) и отдельно для 6D оценки позиции каждого объекта (GDR-Net). Алгоритм сначала определяет регионы отдельных изображений по общей фотографии, после чего подаёт увеличенные фрагменты изображений требуемых деталей в 6D Pose Estimation сеть с помощью Dynamic Zoom-In (DZI). На AMD Ryzen 7 5800 и NVIDIA RTX 3090 задача определения позиций по изображению 640 × 480 заняла 45 мс для восьми объектов, включая 21 мс для обнаружения.

Для каждого объекта генерировались 36 поз захвата (grasp candidates), после чего, используя заранее известные положения объектов, определялись столкновения между захватом и сборкой с помощью Flexible Collision Library (FCL), чтобы исключить неосуществимые позиции захвата. Чтобы облегчить перенос детали в подсборку применялся метод т.н. 6D pose Transformation - деталь перехватывалась таким образом, чтобы снизить погрешность при сборке. Для обеспечения однозначности позиционирования детали в захвате применялась калибровка захватом по трём осям. (см. картинку). Без калибровки даже на примитивных сборках 13 из 15 действий заканчивались неудачей. С калибровкой средний показатель успешного завершения шага сборки составил около 86.7%. Экспериментальные результаты показали, что система способна надежно собирать простые блоки с допусками в 1 мм.

#assembly #cv #blender

​​BlenderProc 2.6.0

Выпущен второй релиз системы процедурной генерации синтетических датасетов на базе Blender.

Среди заметных улучшений:
- Улучшена поддержка датасетов в формате BOP Challenge (подробнее о том что это такое можно узнать в нашей обзорной статье)
- Обновление версии Blender на 3.3.1
- Рендеринг сегментированных изображений в стерео-режиме
- Поддержка моделей в форматах fbx, gltf, glb

Полный перечень изменений:
https://github.com/DLR-RM/BlenderProc/releases/tag/v2.6.0

#blender #dataset #bop

Релиз Phobos 2.0

После более чем одного года интенсивной разработки и рефакторинга вышла новая мажорная версия Blender-аддона Phobos. Аддон позволяет с помощью GUI подготовить модели робота к работе в таких фреймворках как ROS, ROCK и симуляторах MARS, Gazebo и др.. Поддерживаются популярные форматы экспорта - URDF, SDF, SMURF.

Из заметных изменений:
- Аддон теперь представляет собой полноценный модуль Python и может быть импортирован напрямую в код Вашего приложения. Документация к API (пока не покрывает всех функций модуля)
- Обновлена версия Blender до v3.3 (LTS, официально поддерживается до сентября 2024)
- Переработана документация/wiki проекта

Также в будущем запланирована поддержка экспорта сцен в SDF.

Github: https://github.com/dfki-ric/phobos

#blender #urdf