DeepMind подготовил эволюционный скачок в миропонимании роботов.
Найден простой и эффективный способ обучения роботов, как людей.
Представьте, что к вам впервые пришел сотрудник сервиса по генеральной уборке офисов. Вы водите его по всем помещениям, показываете, что и где нужно сделать и чего делать нельзя: тут вымыть, там пропылесосить, шторы в конференц зале постирать, санузлы дезинфицировать, весь мусор собрать, но на столах ничего не трогать, прочистить бытовую технику от кофемашин до кондиционеров и т.д. и т.п.
Т.е. вы просто все показываете и рассказываете. А работник, если что-то не понятно, переспрашивает и уточняет. Причем, работник толковый. И если ему, например, специально не показывали на флипчарты в переговорных, а просто в конце тура по офису добавили – оторви все исписанные листы на флипчартах и, не путая их порядок, сложи на стол перед дверью в архив, - сотрудник сам найдет все флипчарты и сделает ровно так, как ему сказано.
Примерно так же, но даже без реального тура по офису, а просто засняв его на смартфон со своими комментариями, мы очень скоро будем учить роботов.
Информация к размышлению.
Эволюционное развитие у млекопитающих способностей осмысления окружающей среды и целенаправленной навигации передвижений заняло более 200 млн лет.
На много порядков меньшее время (всего какие-то несколько сотен тысяч лет) потребовалось для следующего «эволюционного скачка» в развитии самого когнитивно одаренного млекопитающего – людей. На освоение ими языков абстрактных понятий эволюции (уже не генной, а генно-культурной) потребовалось всего лишь несколько сотен тысяч лет.
У формирующегося на Земле нового небиологического (цифрового) вида эти процессы:
1. во-первых, идут с несопоставимо огромной скоростью;
2. а во-вторых, имеют обратную последовательность.
Последнее оказалось возможным из-за нематериальности и бестелесности «цифровых сущностей» генеративного ИИ на основе больших языковых моделей.
Сначала, они всего за пару лет эволюционировали до уровня людей в оперировании языками абстрактных понятий. А теперь, вселясь в тела роботов, они, скорее всего, за какие-то месяцы сделают второй «эволюционный скачок» – став «материализованными цифровыми сущностями».
Вместе с обретением тел они обретут способности осмысления окружающей среды и навигации своих передвижений в соответствии с намерениями и целями.
Представленная Google DeepMind система обучения роботов объединяет подсистему «мультимодальной навигации по инструкциям с демонстрационными турами (MINT)» и подсистему «интеграции зрения, языка и действий» Vision-Language-Action (VLA). Это объединение позволило интегрировать понимание окружающей среды и силу рассуждений на основе здравого смысла больших языковых моделей с огромным контекстным окном в 1.5 млн токенов.
Проще говоря, гении из DeepMind разработали способ, с помощью которого роботы понимают и ориентируются в сложных средах, используя комбинацию слов, изображений и видеотуров. При этом роботы могут получать от людей команды на выполнение действий в сложных средах мультимодально: устно, письменно, в виде картинок (карты, планы, схемы, идеограммы и т.д.), а также на основе жестов людей (типа объяснений на пальцах) и (в следующей версии) их мимики.
На представленных Google демо их система Mobility VLA на основе Gemini 1.5 Pro интеллектуально обходит GPT-4o и GPT-4V.
Напр. на обращение к роботу «Хочу еще вот этого» с показом пальцем на пустую банку колы, робот с Mobility VLA сам нашел холодильник, где этого добра было много. С чем прочие модели справились плохо (одни не поняли, что надо, другие – где это взять).
Картинка: архитектура Mobility VLA и сравнение с другими моделями telegra.ph
Статья arxiv.org
Видео демо x.com
#роботы
_______
Источник | #theworldisnoteasy
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram
Найден простой и эффективный способ обучения роботов, как людей.
Представьте, что к вам впервые пришел сотрудник сервиса по генеральной уборке офисов. Вы водите его по всем помещениям, показываете, что и где нужно сделать и чего делать нельзя: тут вымыть, там пропылесосить, шторы в конференц зале постирать, санузлы дезинфицировать, весь мусор собрать, но на столах ничего не трогать, прочистить бытовую технику от кофемашин до кондиционеров и т.д. и т.п.
Т.е. вы просто все показываете и рассказываете. А работник, если что-то не понятно, переспрашивает и уточняет. Причем, работник толковый. И если ему, например, специально не показывали на флипчарты в переговорных, а просто в конце тура по офису добавили – оторви все исписанные листы на флипчартах и, не путая их порядок, сложи на стол перед дверью в архив, - сотрудник сам найдет все флипчарты и сделает ровно так, как ему сказано.
Примерно так же, но даже без реального тура по офису, а просто засняв его на смартфон со своими комментариями, мы очень скоро будем учить роботов.
Информация к размышлению.
Эволюционное развитие у млекопитающих способностей осмысления окружающей среды и целенаправленной навигации передвижений заняло более 200 млн лет.
На много порядков меньшее время (всего какие-то несколько сотен тысяч лет) потребовалось для следующего «эволюционного скачка» в развитии самого когнитивно одаренного млекопитающего – людей. На освоение ими языков абстрактных понятий эволюции (уже не генной, а генно-культурной) потребовалось всего лишь несколько сотен тысяч лет.
У формирующегося на Земле нового небиологического (цифрового) вида эти процессы:
1. во-первых, идут с несопоставимо огромной скоростью;
2. а во-вторых, имеют обратную последовательность.
Последнее оказалось возможным из-за нематериальности и бестелесности «цифровых сущностей» генеративного ИИ на основе больших языковых моделей.
Сначала, они всего за пару лет эволюционировали до уровня людей в оперировании языками абстрактных понятий. А теперь, вселясь в тела роботов, они, скорее всего, за какие-то месяцы сделают второй «эволюционный скачок» – став «материализованными цифровыми сущностями».
Вместе с обретением тел они обретут способности осмысления окружающей среды и навигации своих передвижений в соответствии с намерениями и целями.
Представленная Google DeepMind система обучения роботов объединяет подсистему «мультимодальной навигации по инструкциям с демонстрационными турами (MINT)» и подсистему «интеграции зрения, языка и действий» Vision-Language-Action (VLA). Это объединение позволило интегрировать понимание окружающей среды и силу рассуждений на основе здравого смысла больших языковых моделей с огромным контекстным окном в 1.5 млн токенов.
Проще говоря, гении из DeepMind разработали способ, с помощью которого роботы понимают и ориентируются в сложных средах, используя комбинацию слов, изображений и видеотуров. При этом роботы могут получать от людей команды на выполнение действий в сложных средах мультимодально: устно, письменно, в виде картинок (карты, планы, схемы, идеограммы и т.д.), а также на основе жестов людей (типа объяснений на пальцах) и (в следующей версии) их мимики.
На представленных Google демо их система Mobility VLA на основе Gemini 1.5 Pro интеллектуально обходит GPT-4o и GPT-4V.
Напр. на обращение к роботу «Хочу еще вот этого» с показом пальцем на пустую банку колы, робот с Mobility VLA сам нашел холодильник, где этого добра было много. С чем прочие модели справились плохо (одни не поняли, что надо, другие – где это взять).
Картинка: архитектура Mobility VLA и сравнение с другими моделями telegra.ph
Статья arxiv.org
Видео демо x.com
#роботы
_______
Источник | #theworldisnoteasy
@F_S_C_P
Генерируй картинки с ⛵️MIDJOURNEY в Telegram
Революция Tesla в области автономных роботов.
Запатентован иной способ зрительного восприятия, отличный от придуманных эволюцией на Земле.
Tesla только что подала патент на систему зрительного восприятия окружающего мира мыслящими субъектами на базе ИИ (называемыми «эго») [1]
Это новая система зрения отличается от всех сформировавшихся эволюционно на Земле способов и механизмов зрения и названа Voxel-Based Vision (VBV) - зрение, основанное на вокселях.
Особенности VBV таковы.
• Кардинально меняется то, как автономные роботы воспринимают и ориентируются в окружающей среде: используются только данные с камеры без использования лидара или радара.
• VBV делит пространство на трехмерные воксели, прогнозируя занятость, форму, семантические данные и движение для каждого вокселя в режиме реального времени.
VBV предназначена для работы на бортовом компьютере робота (как в автомобили Tesla, так и в человекоподобных роботах, типа Optimus, и позволяет принимать решения о действиях в пространстве практически мгновенно (в реальном времени).
VBV позволяет роботу самостоятельно и без предварительной подготовки ориентироваться в разнообразных средах и адаптироваться к изменениям в реальном времени. Это устраняет необходимость в обширном предварительном картографировании и ускоряет появление доступных автономных роботов.
Революционную суть изобретенной технологии можно также сформулировать так.
✔️ Процесс зрения (видения) происходит не в глазах, а в мозге.
✔️ Т.к. способность видеть окружающий мир столь полезна, эволюция сформировала процессы видения множество раз и по разным траекториям (для разных животных).
✔️ Например, глаза осьминога поразительно похожи на наши (и это при том, что нашим последним общим предком было слепое морское существо, типа слизняка или улитки, жившее более полумиллиарда лет назад).
✔️ Однако VBV в принципе отличается от всех придуманных эволюцией траекторий, будучи оптимален для ИИ, а не для биологического мозга.
Прототип VBV был доложен на конференции год назад [2].
За год систему довели и теперь запатентовали.
Картинка telegra.ph
1 x.com
2 www.youtube.com
#Роботы #Зрение
_______
Источник | #theworldisnoteasy
@F_S_C_P
1 Blum = $0.019:
Попробуй Blum
Запатентован иной способ зрительного восприятия, отличный от придуманных эволюцией на Земле.
Tesla только что подала патент на систему зрительного восприятия окружающего мира мыслящими субъектами на базе ИИ (называемыми «эго») [1]
Это новая система зрения отличается от всех сформировавшихся эволюционно на Земле способов и механизмов зрения и названа Voxel-Based Vision (VBV) - зрение, основанное на вокселях.
Особенности VBV таковы.
• Кардинально меняется то, как автономные роботы воспринимают и ориентируются в окружающей среде: используются только данные с камеры без использования лидара или радара.
• VBV делит пространство на трехмерные воксели, прогнозируя занятость, форму, семантические данные и движение для каждого вокселя в режиме реального времени.
VBV предназначена для работы на бортовом компьютере робота (как в автомобили Tesla, так и в человекоподобных роботах, типа Optimus, и позволяет принимать решения о действиях в пространстве практически мгновенно (в реальном времени).
VBV позволяет роботу самостоятельно и без предварительной подготовки ориентироваться в разнообразных средах и адаптироваться к изменениям в реальном времени. Это устраняет необходимость в обширном предварительном картографировании и ускоряет появление доступных автономных роботов.
Революционную суть изобретенной технологии можно также сформулировать так.
✔️ Процесс зрения (видения) происходит не в глазах, а в мозге.
✔️ Т.к. способность видеть окружающий мир столь полезна, эволюция сформировала процессы видения множество раз и по разным траекториям (для разных животных).
✔️ Например, глаза осьминога поразительно похожи на наши (и это при том, что нашим последним общим предком было слепое морское существо, типа слизняка или улитки, жившее более полумиллиарда лет назад).
✔️ Однако VBV в принципе отличается от всех придуманных эволюцией траекторий, будучи оптимален для ИИ, а не для биологического мозга.
Прототип VBV был доложен на конференции год назад [2].
За год систему довели и теперь запатентовали.
Картинка telegra.ph
1 x.com
2 www.youtube.com
#Роботы #Зрение
_______
Источник | #theworldisnoteasy
@F_S_C_P
1 Blum = $0.019:
Попробуй Blum
Созданы первые биомиметические роботы, как в «Мире Дикого Запада».
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.
А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.
Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.
Известно лишь, что:
• биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).
Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».
#Роботы
_______
Источник | #theworldisnoteasy
@F_S_C_P
Стань спонсором!
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.
А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.
Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.
Известно лишь, что:
• биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).
Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».
#Роботы
_______
Источник | #theworldisnoteasy
@F_S_C_P
Стань спонсором!
Telegram
Малоизвестное интересное
Созданы первые биомиметические роботы, как в «Мире Дикого Запада».
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности…
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности…