🍳 Text-Guided Image Inpainting или фотошоп, который мы заслужили!

DALL-E 2 и GLIDE могут не только делать Inpainting (заполнять , изменять и дорисовывать внутри выбранных юзером масок), но и заполнять это содержимое на основе текста от юзера. Что делает фотошоп будущего просто сказкой.

1) Маска левого человека (полученная от mask-rcnn)
2) Текст "фотография мужчины на кухне" помещает Джонни в новый контекст (с корабля на бал, так сказать)

🛎 Все, что вы хотели знать о Диффузии, но боялись спросить

Пост, который сэкономил бы мне уйму времени при глубоком погружении в диффузию.

Скоро расскажу подробнее куда меня занесло ❤️

📄 Deep Unsupervised Learning using Nonequilibrium Thermodynamics 2015
С чего начался диффуз

📄 Denoising Diffusion Probabilistic Models 2020
Основная статья по DDPM. Создается актуальный фреймворк диффузии

📄 Denoising Diffusion Implicit Models 2020
DDIM — немарковский процесс в 10-50 раз быстрее DDPM

📄 Improved Denoising Diffusion Probabilistic Models 2021
Важнейший папир: фишки с параметрами, матрицами ковариации, расписаниями

📄 Diffusion Models Beat GANs on Image Synthesis 2021
Диффузия бьет SOTA и хоронит Ганы

📄 Classifier-Free Diffusion Guidance 2021
Фундаментальный концепт по семплировнию

📄 GLIDE, DALL•E 2, IMAGEN — Text2Image текущего поколения, прощай DALL•E 1

📚 Крутейший блог пост
💻 Коллекция кода и статей
📼 Видео Яныка и AI кофепаузы

p.s. картинку для поста заказал у диффузионного DALL•E 2
@мишин лернинг

🚇 Сгенерировал нейросетью кадры из Metro 2033, объявленного в розыск писателя и оппозиционера Дмитрия Глуховского

🤖🎓 Добро пожаловать в Мишин Лернинг Клуб!

Давно хотел создать группу, где мы сможем общаться, обсуждать новости, пейперы, идеи, делиться материалами, помогать друг другу, отвечая на вопросы, делясь опытом.

Так что жду вас всех в клубе энтузиастов машинного обучения! Кроме того, клуб будет чатом канала Мишин Лернинг, где мы будем обсуждать новости.

🎓👉 В Мишин Лернинг Клуб

😅 Суровый мем от https://t.iss.one/gradientdip

🗽 NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks

EG3D — настоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.

Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.

После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.

StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.

EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!

Как же чудесно будущее 3D графики!

💻 Code
🖥 Project
📄 Paper
🎥 YouTube

@мишин_лернинг

Собрался с силами и выкатил в ранний доступ все багфиксы и наработки на основе вашего фидбека по #warpfusion turbo+smooth. Забрать тут - Бусти.
Еще раз спасибо за поддержку и фидбек, вы супер :3

Если вам больше всего нравится первый видос слева, то вам подойдет и текущий публично-стабильный
колаб DiscoDiffusion Warp