In-Context Robot Transformer (ICRT) - модель, которая позволяет роботу выполнять новые задачи, интерпретируя контекстную информацию, предоставленную во время демонстрационной фазы, без обновления параметров базовой политики.
ICRT представляет собой причинно-следственный трансформер, который выполняет автоматический прогноз сенсомоторных траекторий без использования лингвистических данных или функции вознаграждения. Он позволяет гибко и без обучения выполнять новые задачи на основе наблюдений изображений, действий и состояний, собранных с помощью телеопераций человека.
Модель состоит из трех частей: предварительно обученного кодировщика изображений, серии проекторов для каждой из входных модальностей и каузального трансформера:
Для предварительного обучения модели использовался датасет DROID и созданный вручную мультизадачный датасет ICRT-Multi-Task (ICRT-MT - 1098 траекторий, 26 задач с 6 примитивами), который использовался в этапе дообучения.
Результаты экспериментов показывают, что ICRT способен обобщать незнакомые задачи и объекты, даже в средах, которые отличаются от демонстрационных.
# Create & activate venv
conda create -n icrt python=3.10 -y
conda activate icrt
# Install torch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia
conda install -c conda-forge ffmpeg
# Clone the Repository
git clone https://github.com/Max-Fu/icrt.git
cd icrt
# Install required packages
pip install -e .
# Install git-lfs
sudo apt install git-lfs
git lfs install
# Download checkpoints
git clone [email protected]:mlfu7/ICRT checkpoints
Пример инференса приведен в ноутбуке inference.ipynb. Перед его запуском обязательно ознакомьтесь с рекомендациями по загрузке и созданию собственного датасета.
@ai_machinelearning_big_data
#AI #ML #Robotics #ICRT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30❤5🔥4
OpenVLA - набор моделей с 7млрд. параметров, которые предназначены для универсального управления роботами.
OpenVLA состоит из комбинации визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, выступающей в качестве основы. Обучение производилось на наборе данных Open-X, который состоит из 970 тыс. траекторий манипуляций в различных средах.
Модели принимают на вход языковую инструкцию и изображение рабочей области с камеры робота. Затем, OpenVLA предсказывает нормализированные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper).
Для выполнения на реальной роботизированной платформе действия должны быть де-нормализованы с учетом статистики, вычисляемой для каждого робота и каждого набора данных.
OpenVLA готовы к использованию для управления роботами в комбинациях действий и обстановках, если они схожи с действиями и задачами, которые присутствуют в Open-X (например, для сред BridgeV2 с роботом Widow-X).
Модели не умеют самообучаться на условиях, не представленных в предварительном обучении; для решения таких случаев разработчики подготовили подробные инструкции по самостоятельному дообучению на вашем наборе демонстраций.
Семейство OpenVLA состоит из 5 модификаций базовой OpenVLA-7B:
# Create venv
conda create -n openvla python=3.10 -y
conda activate openvla
# Install PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y
# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .
# for training only
# Install Flash Attention 2
pip install packaging ninja
ninja --version; echo $? # --> should return code "0"
pip install "flash-attn==2.5.5" --no-build-isolation
@ai_machinelearning_big_data
#AI #ML #OpetVLA #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22👍17❤8💘2
LeLaN - метод, использующий модели Owl-ViT2 и OpenVLA для маркировки видеоданных из реальной среды с помощью языковых инструкций для навигации по объектам.
Политика навигации по объектам, обученная на этих данных, показала высокие результаты в задаче навигации по незнакомым объектам в разных условиях: внутри и снаружи помещений.
LeLaN использует аннотации VLM для маркировки видеоданных из различных источников: наборы данных о навигации роботов, видеоролики с экскурсиями с YouTube и данные из носимых видеорегистраторов. Эти аннотации предоставляют инструкции, охватывающие широкий спектр объектов с разной степенью детализации в их описаниях.
В процессе обучения политика навигации оптимизируется по трем направлениям:
После обучения LeLaN была проведена серия экспериментов из более 1000 испытаний, проведенных в реальных условиях.
Результаты показывают, что LeLaN превосходит существующие методы zero-shot политик навигации по способности ориентироваться в различных средах, надежности в условиях нечетких команд, способности следовать за пешеходами и навыке избегать столкновений.
Код, предлагаемый в репозитории LeLaN, разбит на две части: обучение модели на собственных данных и локальное развертывание с предварительно обученными моделями LeLaN на роботизированной платформе с NVIDIA Jetson Orin.
# Clone repository:
git clone https://github.com/NHirose/learning-language-navigation.git
# Set up the conda env:
conda env create -f train/train_lelan.yml
conda activate lelan
# Install the lelan packages:
pip install -e train/
# Install the `diffusion_policy` package:
git clone [email protected]:real-stanford/diffusion_policy.git
pip install -e diffusion_policy/
# Training lelan w/o collision avoidance
python train.py -c ./config/lelan.yaml
@ai_machinelearning_big_data
#AI #ML #LLM #Navigation #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤20👍11🔥5
ARP - архитектура авторегрессионной политики, разработанная в Рутгерском университете, которая учится генерировать последовательности действий, используя Chunking Causal Transformer (CCT), предлагая универсальный подход, превосходящий специализированные решения для задач манипулирования.
Политика предсказывает только будущую последовательность действий на основе текущего состояния (или наблюдения), не пытаясь предсказать всю траекторию. Этот метод обучения последовательности действий более достижим в приложениях робототехники и позволяет лучше использовать причинно-следственные связи.
ARP состоит из трех основных компонентов:
ARP оценивался в 3 средах (Push-T, ALOHA, RLBench) и сравнивался с современными методами для каждой среды. Во всех случаях ARP продемонстрировал высокую производительность, достигая SOTA-показателей при меньших вычислительных затратах.
ARP был протестирован в реальном эксперименте с роботом, где он успешно выполнил сложную задачу по затягиванию гаек.
В репозитории проекта доступен код для обучения, тестирования в средах Push-T, ALOHA, RLBench и подробные инструкции по настройке окружения под каждую из этих задач.
⚠️ В зависимости от задачи (Push-T, ALOHA или RLBench) необходимо выбрать соответствующий файл конфигурации. Примеры конфигурационных файлов приведены в файле Experiments.md
⚠️ Форматы данных для каждой задачи разные:
@ai_machinelearning_big_data
#AI #ML #Robotics #ARP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤18👍15🔥7🥰1
MASi3R-SLAM - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях.
Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров.
Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов.
В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей.
На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна.
Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS.
⚠️ Перед установкой необходимо загрузить модели и установить версию Pytorch, соответствующую установленной версии CUDA.
# Create Conda env
conda create -n mast3r-slam python=3.11
conda activate mast3r-slam
# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/
# Install dependencies
pip install -e thirdparty/mast3r
pip install -e thirdparty/in3d
pip install --no-build-isolation -e .
# Launch Live demo with camera
python main.py --dataset realsense --config config/base.yaml
# Or running on a MP4 video
python main.py --dataset <path/to/video>.mp4 --config config/base.yaml
python main.py --dataset <path/to/folder> --config config/base.yaml
@ai_machinelearning_big_data
#AI #ML #CV #3D #SLAM #Robotics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍40🔥18❤11😁1
Sonata — самообучающийся алгоритм для работы с облаками точек, опубликованный в рамках CVPR 2025, который решает проблему склонности моделей «цепляться» за простые геометрические подсказки, игнорируя семантику объектов. Это явление, названное «геометрическим сокращением», мешало 3D-решениям распознавать сложные сцены без тонкой настройки.
В отличие от конкурентов, Sonata использует принципиально новую архитектуру: вместо U-Net с декодером здесь работает только энкодер Point Transformer V3. Это снижает риск «геометрических ловушек» и увеличивает каналы для анализа с 96 до 512, что критично для семантики.
Алгоритм учится через самодистилляцию: модель-«студент» анализирует замаскированные фрагменты сцен, а модель-«учитель» стабилизирует обучение на целых сценах. Чтобы избежать шаблонного вывода, координаты замаскированных точек сильно искажают сильнее (σ=0.01), а сложность задач растёт постепенно — маски увеличиваются с 10 см до 40 см за первые 5% обучения.
Студент — основная модель, которая активно обучается. Она анализирует сложные виды данных: например, сцены с 70% замаскированных точек или крошечные фрагменты (5% от всей сцены). Её параметры обновляются через обратное распространение ошибки.
Учитель — «замороженная» версия студента, чьи веса обновляются не через градиенты, а через экспоненциальное скользящее среднее (EMA). Он обрабатывает полные, немодифицированные сцены и служит стабильным ориентиром для студента.
Эти решения позволили собрать гигантский датасет из 140 тыс. 3D-сцен (в 86 раз больше существующих аналогов) и достичь рекордов: точность Sonata при линейном анализе на ScanNet выросла в 3,3 раза (с 21,8% до 72,5%), а с 1% данных метод почти вдвое обгоняет конкурентов.
Интеграция с 2D-моделью DINOv2 добавила детализации — комбинированный подход достиг 75,9%. При этом Sonata тратит меньше ресурсов: даже на компактных архитектурах она достигает SOTA-показателей в семантической сегментации помещений и уличных сцен.
Код проекта доступен на GitHub, а визуализации показывают, как алгоритм «видит» многоэтажные здания, различая комнаты и этажи без подсказок.
@ai_machinelearning_big_data
#AI #ML #3D #Robotics #Sonata
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥18❤9🥰2🤓1
This media is not supported in your browser
VIEW IN TELEGRAM
Для этого гуманоидного робота
UnitreeRobotics G1 была разработана компексная система двуручного управления, включающая в себя систему отслеживание позы, продвинутые настройки захвата движений и контроллер для безопасного и точного манипулирования медицинскими инструментами.
Робот тестируется для семи различных медицинских процедур, включая физические осмотры, экстренные вмешательства, точные задачи, требующие мелкой моторики и др.
На видео робот управляется оператором дистанционно, автономность это следующий этап развития!
В будущем у каждого будет свой личный врач
#robotics #engineering #technology #robots
Please open Telegram to view this post
VIEW IN TELEGRAM
❤50🔥23👍16👀8😁7🤨4🌚1
Media is too big
VIEW IN TELEGRAM
Представьте: вы приходите домой, а робот уже накрыл ужин при свечах и убрал беспорядок после вчерашней вечеринки. И вы не можете отличить, человек это сделал или машина. Это «физический тест Тьюринга» — новая веха в робототехнике, о которой в своем выступлении рассказал Джим Фан, директор по робототехнике в NVIDIA.
Но почему до сих пор ни один робот не справляется с банановой кожурой на полу, а завтрак с хлопьями получается лишь на твердую тройку?
Проблема - в данных. Если ИИ для языка «питается» текстами из интернета, то роботам нужны данные из реального мира: сигналы управления, физические параметры, обратная связь от движений. Собрать их сложно и дорого. В NVIDIA используют телеметрию: операторы в VR-шлемах управляют роботами, записывая каждое действие. Но это медленно, а масштабировать такой сбор данных почти невозможно.
«Это как ископаемое топливо, только хуже — вы сжигаете человеко-часы», — говорит Фан.
Очевидное решение — использовать симуляции. NVIDIA запустила проект Dr. Eureka, где роботов учат в виртуальных мирах. Например, робособака учится балансировать на мяче, а гуманоид осваивает ходьбу за два часа симуляции вместо десяти лет проб и ошибок. Для этого запускают 10 000 параллельных сред с разной гравитацией, трением и весом (это называют «рандомизацией домена»). Если нейросеть справляется в миллионе вариаций, она справится и в реальности.
Но симуляции, к сожалению, не панацея. Традиционные методы требуют ручной настройки каждого объекта. Тут на помощь приходят генеративные модели: Stable Diffusion создает текстуры, ИИ генерирует 3D-сцены, а язык XML пишется через запросы к нейросети. Так появился фреймворк Robocasa — «цифровой двойник» реального мира, где всё, кроме робота, создано алгоритмами. Даже видео с роботом, играющим на укулеле, — фейк, сгенерированный видео-диффузионной моделью.
Ключевой прорыв - модель GROOT, которую NVIDIA открыла для сообщества. Она преобразует изображения и команды в движения, управляя роботом «из коробки». GROOT N1 ловко наливает шампанское или сортирует детали на конвейере. А все благодаря компактной архитектуре, всего 1.5 млн параметров, что меньше, чем у многих мобильных приложений.
Что дальше? Фан говорит о «физическом API» — слое, который превратит роботов в универсальных исполнителей. Представьте: вы запрашиваете навык «приготовить ужин от Мишлен» через облако, и робот делает это без программирования. Или роботы-курьеры сами перестраивают логистику, общаясь через язык действий.
«Все, что движется, станет автономным», — цитирует Фан CEO NVIDIA Дженсена Хуанга.
Главное препятствие кроется в этапе перехода от «цифровых близнецов» к нейросетевым симуляциям («цифровым кочевникам»), которые смогут предсказывать миллионы сценариев. Тут уже не хватит классических методов - нужны гибридные системы, где физика сочетается с генеративными моделями. И судя по темпам (за год нейросети научились реалистично имитировать жидкости и деформации), будущее ближе, чем кажется.
Так когда же мы пройдем физический тест Тьюринга? Возможно, это случится в один из обычных вторников — без анонсов и громких презентаций, как это произошло с языковыми моделями. И тогда роботы станут невидимым фоном жизни, как электричество или Wi-Fi. А мы очень быстро забудем, как жили без них.
@ai_machinelearning_big_data
#AI #ML #Robotics #AIAscent2025 #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍77❤30🔥20🍓3
Media is too big
VIEW IN TELEGRAM
🤖 Boston Dynamics показали, как их гуманоидный робот Atlas «видит» мир и взаимодействует с ним
В новом видео команда ИИ-инженеров показала, как устроена система восприятия Atlas — и это уже не просто «робот с камерами», а почти полноценный агент с чувством пространства и контекста.
🧠 Что умеет Atlas:
🔹 Понимает форму и назначение объектов в реальной среде
🔹 Объединяет 2D и 3D восприятие
🔹 Использует ключевые точки для ориентации в пространстве
🔹 Отслеживает позы объектов с учётом их движения и перекрытия
🔹 Сливает визуальные данные, кинематику и знания об объектах в одну систему
🔹 Имеет сверхточную калибровку для координации «глаз–рука»
Atlas может не просто находить предмет, но понимать, *что это*, *зачем оно нужно* и *как его лучше схватить*, даже если оно наполовину скрыто.
Команда инженеров работает над единой моделью, которая объединяет восприятие и управление. Это шаг от просто «пространственного ИИ» к настоящему физическому интеллекту.
Их робот выглядит на данный момент самым передовым, как вы считаете?
@ai_machinelearning_big_data
#Atlas #BostonDynamics #AI #Robotics #Перцепция #ИскусственныйИнтеллект
В новом видео команда ИИ-инженеров показала, как устроена система восприятия Atlas — и это уже не просто «робот с камерами», а почти полноценный агент с чувством пространства и контекста.
🧠 Что умеет Atlas:
🔹 Понимает форму и назначение объектов в реальной среде
🔹 Объединяет 2D и 3D восприятие
🔹 Использует ключевые точки для ориентации в пространстве
🔹 Отслеживает позы объектов с учётом их движения и перекрытия
🔹 Сливает визуальные данные, кинематику и знания об объектах в одну систему
🔹 Имеет сверхточную калибровку для координации «глаз–рука»
Atlas может не просто находить предмет, но понимать, *что это*, *зачем оно нужно* и *как его лучше схватить*, даже если оно наполовину скрыто.
Команда инженеров работает над единой моделью, которая объединяет восприятие и управление. Это шаг от просто «пространственного ИИ» к настоящему физическому интеллекту.
Их робот выглядит на данный момент самым передовым, как вы считаете?
@ai_machinelearning_big_data
#Atlas #BostonDynamics #AI #Robotics #Перцепция #ИскусственныйИнтеллект
🔥89👍36❤18🤔9🎄1
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Илон Маск: с Neuralink можно будет “переселиться” в тело робота Tesla Optimus
Маск заявил, что люди с нейроимплантами Neuralink смогут полностью управлять роботом Tesla Optimus, ощущая его тело как своё собственное:
Не только рукой двигать — вы буквально сможете ‘ментально переселиться’ в робота.”*
По сути, речь идёт о телеприсутствии от первого лица — с полным контролем движений и тактильной обратной связью от всего тела робота.
Илон, как всегда, ставит цели на грани фантастики. Но Neuralink + Optimus действительно выглядит как первый шаг к кибер реальности такого робота.
Звучит как сюжет из «Аватара», но это уже обсуждается как реальная технология.
@ai_machinelearning_big_data
#neuralink #optimus #elonmusk #tesla #bci #robotics #futuretech #cyborg
Маск заявил, что люди с нейроимплантами Neuralink смогут полностью управлять роботом Tesla Optimus, ощущая его тело как своё собственное:
> *“Вы сможете иметь полный контроль и сенсоры всего тела Optimus.
Не только рукой двигать — вы буквально сможете ‘ментально переселиться’ в робота.”*
По сути, речь идёт о телеприсутствии от первого лица — с полным контролем движений и тактильной обратной связью от всего тела робота.
Илон, как всегда, ставит цели на грани фантастики. Но Neuralink + Optimus действительно выглядит как первый шаг к кибер реальности такого робота.
Звучит как сюжет из «Аватара», но это уже обсуждается как реальная технология.
@ai_machinelearning_big_data
#neuralink #optimus #elonmusk #tesla #bci #robotics #futuretech #cyborg
❤100👍40🔥22🗿8🤔5🍓5🥰3🤨3👀3😁2🌭1
Научить робота уверенно брать предметы - это, кажется, вечная тема в робототехнике. Несмотря на десятилетия исследований, надежные и универсальные системы захвата до сих пор остаются скорее теорией, чем реальностью.
Стоит копнуть глубже стандартных демо, и выясняется, что на сложных бенчмарках, FetchBench например, точность лучших систем едва дотягивает до 20%. Это фундаментальный барьер, мешающий внедрять роботов в реальные, неструктурированные среды.
GraspGen - фреймворк для генерации 6-DOF захватов, который не только показывает SOTA результаты, но и вводит новый, крайне интересный подход к обучению.
В его основе лежит связка из генератора на базе Diffusion Transformer и дискриминатора, знакомая всем по GAN-ам архитектура, но с важным отличием.
Генератор, получив на вход облако точек объекта, предлагает множество вариантов захвата, а дискриминатор оценивает их качество и отсеивает неудачные.
И вот тут-то и кроется основная идея, которую в NVIDIA назвали «On-Generator Training». Вместо того чтобы обучать дискриминатор на заранее собранном офлайн-датасете из "хороших" и "плохих" захватов, его учат непосредственно на тех ошибках, которые генерирует его подопечный - диффузионная модель.
Иными словами, дискриминатор становится экспертом не в захватах вообще, а в типичных промахах конкретного генератора. Он учится распознавать и отбраковывать именно те ложноположительные варианты, которые сам генератор считает удачными, но которые на самом деле приведут к провалу. Такой подход создает мощную и целенаправленную обратную связь.
Разработчики выпустили симулированный датасет, содержащий более 53 млн. примеров захватов для 3 разных типов манипуляторов, включая параллельные захваты и вакуумные присоски.
В симуляции на сете ACRONYM GraspGen показывает AUC (площадь под кривой точность-покрытие) 0.94, это больше ближайших конкурентов на 48%.
На комплексном бенче FetchBench он обошел предыдущих лидеров M2T2 и Contact-GraspNet на 7.8% и 16.9% соответственно.
Но самое главное - это тесты на реальном железе. В экспериментах с роботом UR10 в зашумленной среде GraspGen достиг общей успешности в 81.3%, в то время как M2T2 и AnyGrasp показали лишь 52.6% и 63.7%.
Код, веса моделей и датасет уже доступны на GitHub и Hugging Face.
Авторы позаботились об энтузиастах: есть подробные инструкции по установке через Docker или pip, готовые демо-скрипты, позволяющие визуализировать захваты для своих облаков точек или 3D-моделей буквально в несколько команд.
Более того, GraspGen изначально спроектирован как модульная и расширяемая система. Разработчики предоставляют подробный туториал, который объясняет, как генерировать данные и обучать модели для совершенно новых объектов и, что важнее, новых типов манипуляторов, реализуя принцип BYOD.
Интеграция с симулятором Isaac Lab для еще более продвинутой генерации данных и возможность дообучения на реальных данных.
@ai_machinelearning_big_data
#AI #ML #Robotics #GraspGen #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50❤28👍21😁3🎉3👨💻1