...Продолжение про Avatars Grow Legs (CVPR 2023)

Наша модель AGRoL — это диффузионную модель, которая синтезирует motion последовательности полного скелета человека (координаты + поворот 26 точек) по трем входным точкам. Более того, мы задизайнили AGRoL с помощью эффективной архитектуры, которая состоит только из линейных слоёв, которые применяются попеременно по временной оси и по пространственной, что существенно увеличивает скорость семплинга.

Во время инференса, мы прогоняем 5 шагов DDIM. В итоге AGRoL работает со скоростью 30 FPS на V100, что довольно быстро для диффузионных моделей.

🔊Смотрите видео-презентацию со звуком. Полная версия тут.

@ai_newz

🐶Робопёсик Spot научился говорить

Ребята из Boston Dynamics, которые создают всем известных роботов, прикрутили ChatGPT к своему робопёсику. Это дало роботу возможность докладывать о результатах выполненных миссий и отвечать на любые вопросы о ходе выполнения задания на человеческом языке.

Например, миссией пса могла быть пройти по локации и проверить некоторые датчики.

ChatGPT на вход получает огромный json файл с конфигурацией миссии и данными, собранными во время выполнения. И бот отвечает на любые вопросы пользователя используя инфу из json. Т.к. данных много, вместить весь файл в контекст ChatGPT не получится (пока... я тут писал про попытки вместить до 1млн токенов). Поэтому файл разбивается на маленькие куски, для каждого из которых считается эмбединг. Во время инференса: по заданному вопросу быстро ищутся наиболее релевантные куски, используя расстояния между эмбедингами и отправляются
в контекст GPT, чтобы выдать наиболее точный ответ.

Для озвучки пёсика взяли text2speech API от Гугла.

@ai_newz

🦮 Вербальное управление робопёсиком Spot с помощью Whisper

В предыдущем посте я допустил неточность. ChatGPT к робопёсику Spot прикрутили не Boston Dynamics, а их партнёры – фирма Levatas, которая программирует Спотов выполнять различные миссии в индустрии. Например, побегать по фабрике и проверить, что все в порядке, снять показания с датчиков температуры, давления и т.д., сделать теплоснимки оборудования, и прочие рутинные задачи, которые нужно регулярно выполнять в индустрии.

"There is nothing better than looking at the effect of you code in real-time". Как же я согласен с этим!

На видео пример того, как парни используют модель Whisper (я про нее писал в этом посте) для передачи базовых команд робопсу.

@ai_newz

OpenLLaMA: An Open Reproduction of LLaMA

Полундра! Тут челы из университета Berkeley зарелизили полностью опен-соурсную репродукцию LLaMA 7B с лицензией Apache 2.0. Пока натренировали модель на 200 миллиардах токенов из датасета RedPajama, о котором я недавно рассказывал.

Чекпоинт, который доступен уже сейчас, выдает результаты на различных бенчмарках как минимум не хуже оригинальной LLaMA от Meta. И ребята продолжаю тренить, чтобы модель увидела хотя бы триллион различных токенов, как это было у оригинальной LLaMA. Ожидают, что когда полностью закончат тренировку на триллионе токенов из RedPajama, OpenLLaMA превзойдет оригинал.

Скачать веса на PyTorch и JAX

@ai_newz

В дополнение к AI-учителю из предыдущего поста. Такой промпт в формате json позволяет легко подстраивать учителя под себя.

Например, чтобы позволить ему генерировать примеры на Python, достаточно добавить в конфиге python_enabled: true.

А чтобы изменить язык, как предложил подписчик, можно добавить language: "Russian".

Что касается истинности информации, которую AI-учитель выдает, то когда будет открыт доступ к плагинам, ChatGPT сможет гуглить информацию и подкреплять свои ответы ссылками на статьи в интернете. Вот тогда заживём :) А пока просто читаем выдачу ChatGPT со щепоткой скептицизма.

Важно: промпт уверенно работает только в ChatGPT-4. ChatGPT-3.5 может не потянуть и выдавать не такие хорошие результаты.