🍜🐈 А потом — СУП С КОТОМ!

авторы: Нейроэстетика + ShonenkovAI

Awesome-Diffusion

Один из админов нашел репозиторий, достойный вашего внимания, но перед началом стоит чуть поговорить про то, что такое диффузионные модели:

Работают диффузионные модели следующим образом — сначала искажают обучающие данные, постепенно добавляя гауссовский шум, медленно стирая детали, пока данные не превратятся в чистый шум, а затем нейронная сеть обучается, чтобы обратить этот процесс искажения вспять. При обратном искажении данные синтезируются из чистого шума путем постепенного снижения шума до тех пор, пока не будет получен чистый образец. (источник)

Собственно тема интересная и скорее всего вы о ней слышали, когда смотрели на всякие нейрогенерации коих в последнее время довольно много.

Репозиторий представляет собой сборник ссылок на статьи и их реализации, разделённые на самые разные темы(в том числе NLP, Vision, Audio, TS, etc).

Всё оформлено классно, а самое главное - структурированно.

Меня заинтересовала тема временных рядов и скорее всего, при необходимости, я попробую что-нибудь оттуда использовать.

Репозиторий

🍳 Text-Guided Image Inpainting или фотошоп, который мы заслужили!

DALL-E 2 и GLIDE могут не только делать Inpainting (заполнять , изменять и дорисовывать внутри выбранных юзером масок), но и заполнять это содержимое на основе текста от юзера. Что делает фотошоп будущего просто сказкой.

1) Маска левого человека (полученная от mask-rcnn)
2) Текст "фотография мужчины на кухне" помещает Джонни в новый контекст (с корабля на бал, так сказать)

🛎 Все, что вы хотели знать о Диффузии, но боялись спросить

Пост, который сэкономил бы мне уйму времени при глубоком погружении в диффузию.

Скоро расскажу подробнее куда меня занесло ❤️

📄 Deep Unsupervised Learning using Nonequilibrium Thermodynamics 2015
С чего начался диффуз

📄 Denoising Diffusion Probabilistic Models 2020
Основная статья по DDPM. Создается актуальный фреймворк диффузии

📄 Denoising Diffusion Implicit Models 2020
DDIM — немарковский процесс в 10-50 раз быстрее DDPM

📄 Improved Denoising Diffusion Probabilistic Models 2021
Важнейший папир: фишки с параметрами, матрицами ковариации, расписаниями

📄 Diffusion Models Beat GANs on Image Synthesis 2021
Диффузия бьет SOTA и хоронит Ганы

📄 Classifier-Free Diffusion Guidance 2021
Фундаментальный концепт по семплировнию

📄 GLIDE, DALL•E 2, IMAGEN — Text2Image текущего поколения, прощай DALL•E 1

📚 Крутейший блог пост
💻 Коллекция кода и статей
📼 Видео Яныка и AI кофепаузы

p.s. картинку для поста заказал у диффузионного DALL•E 2
@мишин лернинг

🚇 Сгенерировал нейросетью кадры из Metro 2033, объявленного в розыск писателя и оппозиционера Дмитрия Глуховского

🤖🎓 Добро пожаловать в Мишин Лернинг Клуб!

Давно хотел создать группу, где мы сможем общаться, обсуждать новости, пейперы, идеи, делиться материалами, помогать друг другу, отвечая на вопросы, делясь опытом.

Так что жду вас всех в клубе энтузиастов машинного обучения! Кроме того, клуб будет чатом канала Мишин Лернинг, где мы будем обсуждать новости.

🎓👉 В Мишин Лернинг Клуб

😅 Суровый мем от https://t.iss.one/gradientdip

🗽 NVIDIA Создала 3D StyleGAN — EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks

EG3D — настоящее инженерное чудо. Ресерчеры взяли за основу StyleGAN 2 бэкбон, и вставили в середину графа гибридный neural rendering.

Nvidia создала новый tri-plane-based 3D GAN framework. Ресерчеры показали, что NeRF в их случае медленный, а воксели не очень масштабируются по памяти с повышением разрешения.

После нейронного рендеринга в 128х128 следует каскад супер-резолюшена в 512х512. Затем low-res ещё раз апскейлится интерполяцией и после конкатенации с mid-res картинкой, единым тензором подается на двойной дискриминатор.

StyleGAN’ы интересны тем, что способны за относительно небольшой компьют (тут 8 Tesla V100 GPUs и 8.5 дней) построить реалистичную генеративную модель в одном домене.

EG3D позволяет сразу генерировать качественную 3D геометрию, которую сеть выучивает самостоятельно!

Как же чудесно будущее 3D графики!

💻 Code
🖥 Project
📄 Paper
🎥 YouTube

@мишин_лернинг

Собрался с силами и выкатил в ранний доступ все багфиксы и наработки на основе вашего фидбека по #warpfusion turbo+smooth. Забрать тут - Бусти.
Еще раз спасибо за поддержку и фидбек, вы супер :3

Если вам больше всего нравится первый видос слева, то вам подойдет и текущий публично-стабильный
колаб DiscoDiffusion Warp