Forwarded from Center for Cognitive Modeling
Мы знаем, что у нас активная аудитория и хотим попробовать новый формат - Радиоэфир!
В этом формате наши руководители, сотрудники и приглашенные гости будут делиться своим знанием, видением и обсуждать новости по выбранной теме.
У вас, как наших подписчиков, будет не только возможность послушать, но и поучаствовать в обсуждении и задать свои вопросы!
Спикеры:
- Александр Панов, руководитель Центра когнитивного моделирования МФТИ
- Алексей Ковалёв, доцент Центра когнитивного моделирования МФТИ
Присоединяйтесь к диалогу, делитесь опытом и участвуйте в обсуждении!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10🥰2💩1
Forwarded from Институт AIRI
В эти выходные исследователи AIRI примут участие в ROS Meetup ⤵
27 апреля
◼️ Кандидат физико-математических наук, руководитель группы «Нейросимвольная интеграция» AIRI Александр Панов примет участие в панельной дискуссии «Reinforcement learning в робототехнике».
◼️ Стажер-исследователь AIRI Егор Черепанов и кандидат компьютерных наук, научный сотрудник AIRI Алексей Ковалёв представят доклад «Трансформеры с памятью в обучение с подкреплением для робототехнических задач».
◼️ Кандидат физико-математических наук, научный сотрудник AIRI Алексей Староверов выступит с докладом «Онлайн и оффлайн обучение с подкреплением для генерации и оценки робототехнических действий на основе GPT моделей».
28 апреля
◼️ Кандидат технических наук, cтарший научный сотрудник AIRI Дмитрий Юдин представит доклад «OpenPlaceRecognition: открытая библиотека мультимодального распознавания места для роботов и беспилотных автомобилей».
Все подробности и регистрация по ссылке📌
27 апреля
28 апреля
Все подробности и регистрация по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9💩2🥰1
Совершенно biased и полностью incomplete список интересных статей первого дня ICLR 2024 (1/2)
🔸ASID: Active Exploration for System Identification in Robotic Manipulation
Что делать если модель среды для робота в симуляторе не совпадает с реальной средой? Обучаем стратегию, которая позволяет узнать больше об отличие реальной среды от симулятора. Прогоняем обученную стратегию в реальной среде один раз, полученные данные используем чтобы подправить модель в симуляторе. Обучаемся в подправленном симуляторе и – ПРОФИТ! Можно запускать на реальном роботе
🔸Learning Interactive Real-World Simulators
Симулятор робототехнических задач на основе диффузии для видео. Сделали за шесть месяцев до Sora
🔸Task Planning for Visual Room Rearrangement under Partial Observability
Метод для мобильной перестановки с учетом предпочтений пользователя
🔸Learning with Language-Guided State Abstractions
Обобщают состояние среды с помощью LLM: сначала картинку сегментируют SAM’ом и передают описание сцены в виде списка объектов и их свойств в LLM, LLM по языковой инструкции определяет, какие объекты важны (по сути, фильтрует список) для решения задачи, на основе этой информации исходной изображение маскируется и дальше используется для обучения стратегии. Решают манипуляционные задачи
🔸Learning Planning Abstractions from Language
Концептуально похожа на предыдущую работу, но на этот раз LLM используется для вычленения необходимых действие и объектов, для обучения низкоуровневой стратегии. Для планирования на высоком уровне используется BFS
🔸Conformal Risk Control
Применения conformal prediction для контролирования ожидаемого значения монотонных функций потерь
🔸Towards Principled Representation Learning from Videos for Reinforcement Learning
Как правильно учить представления для RL по видео
🔸ASID: Active Exploration for System Identification in Robotic Manipulation
Что делать если модель среды для робота в симуляторе не совпадает с реальной средой? Обучаем стратегию, которая позволяет узнать больше об отличие реальной среды от симулятора. Прогоняем обученную стратегию в реальной среде один раз, полученные данные используем чтобы подправить модель в симуляторе. Обучаемся в подправленном симуляторе и – ПРОФИТ! Можно запускать на реальном роботе
🔸Learning Interactive Real-World Simulators
Симулятор робототехнических задач на основе диффузии для видео. Сделали за шесть месяцев до Sora
🔸Task Planning for Visual Room Rearrangement under Partial Observability
Метод для мобильной перестановки с учетом предпочтений пользователя
🔸Learning with Language-Guided State Abstractions
Обобщают состояние среды с помощью LLM: сначала картинку сегментируют SAM’ом и передают описание сцены в виде списка объектов и их свойств в LLM, LLM по языковой инструкции определяет, какие объекты важны (по сути, фильтрует список) для решения задачи, на основе этой информации исходной изображение маскируется и дальше используется для обучения стратегии. Решают манипуляционные задачи
🔸Learning Planning Abstractions from Language
Концептуально похожа на предыдущую работу, но на этот раз LLM используется для вычленения необходимых действие и объектов, для обучения низкоуровневой стратегии. Для планирования на высоком уровне используется BFS
🔸Conformal Risk Control
Применения conformal prediction для контролирования ожидаемого значения монотонных функций потерь
🔸Towards Principled Representation Learning from Videos for Reinforcement Learning
Как правильно учить представления для RL по видео
👍4🔥2
Совершенно biased и полностью incomplete список интересных статей первого дня ICLR 2024 (2/2)
🔸Neurosymbolic Grounding for Compositional World Models
Модификация Neural Production Systems с использованием CLIP для получения свойств объектов и запихиванием этого в эмбеддинг слота
🔸AgentBench: Evaluating LLMs as Agents
Из названия всё понятно
🔸Grounding Multimodal Large Language Models to the World
Уже давно известная статья про Kosmos-2: как граундить LLM на картинки
🔸RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches
Больше RT разных и прекрасных! Опять в названии всё чётко
🔸Habitat 3.0: A Co-Habitat for Humans, Avatars, and Robots
Добавили в Habitat людей и коллаборативные задачи
🔸Large Language Models Cannot Self-Correct Reasoning Yet
Интересная работа про то, насколько хорошо LLMки могут исправить свой ответ без дополнительной обратной связи
🔸Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning
Возьмем для Decision Transformer в качестве бэкбона LLM (GPT-2), заморозим, и обучим с LORA для RL задач – получим LaMo. Да, ещё надо добавить языковой лосс и обучать одновременно на language prediction tasks, чтобы GPT-2 не забыла свои основные обязанности
🔸CivRealm: A Learning and Reasoning Odyssey in Civilization for Decision-Making Agents
Просто 🔥! Среда на основе Цивилизации и RL и LLM агенты в качестве бейзлайна
🔸Learning to Jointly Understand Visual and Tactile Signals
Важная задача для робототехники
🔸Object centric architectures enable efficient causal representation learning
Объединение slot attention и causal representation learning
🔸Neurosymbolic Grounding for Compositional World Models
Модификация Neural Production Systems с использованием CLIP для получения свойств объектов и запихиванием этого в эмбеддинг слота
🔸AgentBench: Evaluating LLMs as Agents
Из названия всё понятно
🔸Grounding Multimodal Large Language Models to the World
Уже давно известная статья про Kosmos-2: как граундить LLM на картинки
🔸RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches
Больше RT разных и прекрасных! Опять в названии всё чётко
🔸Habitat 3.0: A Co-Habitat for Humans, Avatars, and Robots
Добавили в Habitat людей и коллаборативные задачи
🔸Large Language Models Cannot Self-Correct Reasoning Yet
Интересная работа про то, насколько хорошо LLMки могут исправить свой ответ без дополнительной обратной связи
🔸Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning
Возьмем для Decision Transformer в качестве бэкбона LLM (GPT-2), заморозим, и обучим с LORA для RL задач – получим LaMo. Да, ещё надо добавить языковой лосс и обучать одновременно на language prediction tasks, чтобы GPT-2 не забыла свои основные обязанности
🔸CivRealm: A Learning and Reasoning Odyssey in Civilization for Decision-Making Agents
Просто 🔥! Среда на основе Цивилизации и RL и LLM агенты в качестве бейзлайна
🔸Learning to Jointly Understand Visual and Tactile Signals
Важная задача для робототехники
🔸Object centric architectures enable efficient causal representation learning
Объединение slot attention и causal representation learning
🔥6
Очень полезная статья "How we write rebuttals"
Советы от Devi Parikh, Dhruv Batra и Stefan Lee как отвечать рецензентам 🤜🤛
Советы от Devi Parikh, Dhruv Batra и Stefan Lee как отвечать рецензентам 🤜🤛
Substack
How we write rebuttals
By Devi Parikh, Dhruv Batra, Stefan Lee
🔥7
Forwarded from Center for Cognitive Modeling
🎓 — Семинар 34. Обзор конференции ICLR | Александр Панов, Алексей Ковалёв, Алексей Скрынник, Леонид Угадяров
С 7 по 11 мая в Вене (Австрия) прошла конференция ICLR, которая является одной из ключевых конференций в области глубокого обучения и искусственного интеллекта в целом.
В этом году на конференции были представлены две работы, авторами которых являются сотрудники Центра: первая про эффективные объектно-центричные модели SMM, а также работа про активное обучения для поиска конформаций молекул GOLF.
Доклад на семинаре будет посвящён обзору конференции, а также обсуждению статей, вызвавших интерес у докладчиков.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире!
Ждем всех!
#семинары #конференции #RL #DL
С 7 по 11 мая в Вене (Австрия) прошла конференция ICLR, которая является одной из ключевых конференций в области глубокого обучения и искусственного интеллекта в целом.
В этом году на конференции были представлены две работы, авторами которых являются сотрудники Центра: первая про эффективные объектно-центричные модели SMM, а также работа про активное обучения для поиска конформаций молекул GOLF.
Доклад на семинаре будет посвящён обзору конференции, а также обсуждению статей, вызвавших интерес у докладчиков.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире!
Ждем всех!
#семинары #конференции #RL #DL
🔥6👎1🥰1
Forwarded from Center for Cognitive Modeling
🎓 — Семинар 35. Object-Centric Dreamer | Леонид Угадяров
В докладе будет рассмотрен разработанный алгоритм обучения с подкреплением Object-Centric Dreamer, где модель среды реализована с помощью новой объектно-центрированной модели пространства состояний Object-Centric RSSM на основе графового варианта рекуррентного блока GRU.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #RL
В докладе будет рассмотрен разработанный алгоритм обучения с подкреплением Object-Centric Dreamer, где модель среды реализована с помощью новой объектно-центрированной модели пространства состояний Object-Centric RSSM на основе графового варианта рекуррентного блока GRU.
📹 Трансляция Youtube
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
#семинары #RL
👍1
Forwarded from Complete AI (Andrey Kuznetsov)
Внимание! Внимание!
Сейчас мы в AIRI активно ищем новых исследователей в научную группу Александра Панова для разработки мультимодальных RL-алгоритмов для робототехники классных специалистов-универсалов 💪
Требуемые навыки:
💫 опыт запуска и самостоятельно обучения базовых RL алгоритмов;
💫 понимание специфики работы с робототехническими симуляторами (MuJoCo, DMC);
💫 понимание принципов работы языковых моделей и умение их дообучать, быть знакомым с современными мультимодальными моделями.
Интерес к реальной (не симуляционной) робототехнике приветстуется!
Научная группа Александра участвует в ведущих робототехнических конференциях, нацелена на публикацию статей A*, Q1 и работает над одним из самых амбициозных проектов мирового уровня (по результатам можно посетить много крутых стран и интересных мест).
Ребята тут, кстати, сгоняли с докладами на топ конфу в Японию в мае, о чем написали на Хабре!
Еще у Саши есть свой канал в Telegram — там пишет о поездках, исследованиях
⚡Подключайся к нам
⚡Пополняй ряды топовых исследовательских команд
Если заинтересовало, пиши скорее сюда — @GraffT
или сюда
Сейчас мы в AIRI активно ищем новых исследователей в научную группу Александра Панова для разработки мультимодальных RL-алгоритмов для робототехники классных специалистов-универсалов 💪
Требуемые навыки:
💫 опыт запуска и самостоятельно обучения базовых RL алгоритмов;
💫 понимание специфики работы с робототехническими симуляторами (MuJoCo, DMC);
💫 понимание принципов работы языковых моделей и умение их дообучать, быть знакомым с современными мультимодальными моделями.
Интерес к реальной (не симуляционной) робототехнике приветстуется!
Научная группа Александра участвует в ведущих робототехнических конференциях, нацелена на публикацию статей A*, Q1 и работает над одним из самых амбициозных проектов мирового уровня (по результатам можно посетить много крутых стран и интересных мест).
Ребята тут, кстати, сгоняли с докладами на топ конфу в Японию в мае, о чем написали на Хабре!
Еще у Саши есть свой канал в Telegram — там пишет о поездках, исследованиях
⚡Подключайся к нам
⚡Пополняй ряды топовых исследовательских команд
Если заинтересовало, пиши скорее сюда — @GraffT
или сюда
scholar.google.ru
Aleksandr I. Panov
AIRI, MIPT - 2 015 цитирований - Reinforcement Learning - Cognitive Robotics - Multi-agent Planning - Sign-based World Model - Semiotics
👍4🔥4💩2👎1🤡1🥴1