Ну, натренировали вы свою GPT-5 пока жила королева Елизавата, или пока Месси играл за Барсу. А что делать когда королева крякнула, а футболист сменил клуб? Не тренировать же модель заново с нуля. Файнтюнинг и прочие эдитинги тоже не очень стабильно решают эту проблему.

Недавно (ICML2022) предложили новое решение*. Если объяснить на пальцах, то нужно: (1) натренировать новую модель, знающую все актуальные исправленные факты, которые мы хотим подправить в базовой модели. (2) А затем с помощью дополнительного классификатора решать, какая модель должна отвечать на тот или иной запрос. Например, если дело касается королевы Англии - то отправлять запрос в нашу новую модель, а если нет, то в базовую. Пример пайплайна на гифке.

* Подход называется Memory-Based Model Editing at Scale.

@ai_newz

Интересно, а на бабушатнике сработает?

Челики из Shopify сделали такую демку с помощью эпловской технологии RoomPlan (я писал о ней ранее). Строится план комнаты, и детектируется мебель, а затем все лишнее удаляется на основе предсказанной карты глубины, а поверх тупо рисуются голые стены.

@ai_newz

Забыл поделиться, мою статью приняли на NeurIPS 2022!

Пока на архиве её нет, как будет — покажу. Скажу только, что мы разработали метод для быстрой реконструкции поверхностей по 3Д поинт клаудам и без нейронных сетей! Только оптимизация, только хардкор (но с умнымы прайорами)!

Так что, надеюсь, увидимся в конце ноября в Новом Орлеане!

@ai_newz

Топ-5 самых важных прорывов в AI за последние десять лет по версии Яна ЛеКуна.

@ai_newz

Charl-E: Text2image on your Mac

Stable Diffusion завернули в удобное оффлайн приложение для Mac с M1/M2. Теперь можно генерить картинки у себя на ноутбуке.

App, webcite

🗄 Stable Diffusion как мощный Lossy codec

На самом деле речь в блог посте больше идет о 8-bit пост-квантизации уже обученного f8 KL-VAE/GAN, но если добавить потенциальную возможностью манипуляции через CLIP, то выходит, что можно притянуть и Stable Diffusion.

В любом случае для 512x512 изображения в 5 kB — результат шикарный, но энкодинг декодинг несоизмеримо медленный в сравнении с JPEG. В любом случае, Deep Learning compression имеет большой потенциал для стримига в условиях низкого битрейта.

📇 собственно блог пост

🤖 Мишин Лернинг

Как генерить текстуры с помощью DALLE2 и SD?

Пора уже создать дайджест по всем новым возможностям, появившимся благодаря Stable Diffusion. Вот, например коллаб, где можно генерировать бесшовные текстуры.

Как работает. Просто генерируете любую картинку с суффиксом "top down photo", чтобы получить вид сверху. Затем замащиваем квадратную область 4×4 тайлами из сгенеренной картинки. Швы удаляем и просим сетку их дорисовать. Вуаля! Все готово.

Можно применять с любой Text2image сетью, которая умеет в инпейнтинг.

Гайд подсмотрел в твиттере.

@ai_newz

На днях NVIDIA зарелизила новые видеокарты серии 40xx.

4080 на 12 гигов всего за $900! Электричество сейчас дорогое, да и крипта на дне, надеюсь майнеры не раскупят.

@ai_newz

П.с. ребят, хочу сказать сорри за рекламу на пол дня. Замотался на работе, дедлайн CVPR через 8 недель. Обещаю впредь такое контролировать!

Ну что, продолжаем погружение в метаверс?

Коллеги из Meta Reality Labs опубликовали новую статью по реконструкции полной 3D позы
человека чисто по 3 точкам - показания с 6D сенсоров хедсета Quest и двух контроллероа в руках. То есть так можно управлять всем телом целиком, даже если на ногах нет никаких датчиков.

Под капотом жужжит reinforcement learning: обучили policy MLP, который на вход получает три точки, а на выходе выдает крутящие моменты для каждого сустава в скелете. Далее происходит предсказание движения в физическом симуляторе.

❱❱ paper
❱❱ video

@ai_newz

Богатый информацией сигнал из физического симулятора позволяет управлять аватаром даже без трекинга рук. Например, на этом видео сеть получает на вход только 6D позу головы. Используя только такой жиденький сигнал, мы все равно видим, как реконструируется все тело целиком.

@ai_newz

Acme: A Research Framework for Distributed Reinforcement Learning V2

DeepMind выкатил вторую версию своего фреймворка Acme для reinforsement learning.

Из абстракта: Acme, a framework for constructing novel RL algorithms that is specifically designed to enable agents that are built using simple, modular components that can be used at various scales of execution. While the primary goal of Acme is to provide a framework for algorithm development, a secondary goal is to provide simple reference implementations of important or state-of-the-art algorithms.

❱❱ Статья
❱❱ Код

@ai_newz

Генерация текстурированных 3D ассетов - это, то где нейронки ещё не зрелые, по сравнению с 2D генерацией.

NVIDIA AI поделились своей работой с NIPS2022 – Get3d: Quality 3D Textured Shapes Learned from Images, которая делает шаг в направлении улучшения генерации 3D объектов.

Метод довольно простой, сеть генерирует фичи из шума для текстуры и для формы, затем это преобразуется в мешь с помощью трюка tri-plane representation (из EG3D) и Deep Marching Tetrahedra. Затем мы растеризуем мешь в RGB картинку и в силуэт и показываем их двум дискриминатора.

Как бы все легко, но тут скомбинированы несколько идей, придуманных за последние 2 года.

❱❱ Сайт проекта
❱❱ Кода ещё нет

@ai_newz