❗️Не хочу тут спамить, но Stable Diffusion вроде становится прям очень популярной сетью

Если интересна text2image генеративка вообще и stable diffusion в частности, то буду выкладывать инфу, генерить по вашим запросам, отвечать на вопросы и общаться по теме в канале Н е й р о э с т е т е к а

Пока хочу чуть декомпозировать и меньше времени уделать text2image моделям в Мишин Лернинге.

@мишин лернинг

DeepMind ❤️ YouTube

Самое важное и интересное из 📇 блог поста DeepMind про интеграцию DL-проектов в платформу YouTube:

🗄 MuZero улучшил кодек VP9 на 4%

Работая вместе с YouTube, DeepMind изучили потенциал MuZero для улучшения кодека VP9 (👈 подробнее) и применили MuZero к живому трафику YouTube!

После запуска снижение битрейта составило ~4%. Улучшив кодек VP9 на YouTube, DeepMind помогли сократить интернет-трафик, и, соответственно, время необходимое для загрузки видео. Благодаря оптимизации миллионы людей смогут смотреть больше видео, загружая их быстрее!

🎞 AutoChapters — Автоматическая разбивка видео на главы

Главы позволяют находить нужный контент, но их создание было медленным и трудоемким ручным процессом.

Представленная на Google I/O 2022, технология автоматического создания глав уже сегодня используется для 8,000,000 видео, и YouTube обработает > 80,000,000 видео в течение года.

AutoChapters экономит время на поиск контента зрителя, и создателям на разбиение глав.

@Мишин Лернинг

👾 А у нас NextGen Text2Image: Retrieval-Augmented Diffusion Models от CompVis

Я не мог писать об этом раньше, но теперь все выложили. Хотя написать очень и очень хотелось..

Идея лежала на поверхности: DALL•E 2 💦 RETRO = ❤️

Подробнее разберём на примере:
> Нужно сгенерировать «Мадагаскарская руконожка на скейтборде». Я вот не помню как она выглядит)

❕DALL•E 1/2, Imagen принимали текст, и на основе него генерировали изображения. А что если добавить возможность подглядывать в реальный датасет?

❗️Для этого нам поможет CLIP и kNN: Ищем в датасете ближайшие изображения и подаём их (или их эмбеддинги) в качестве кондишн для генерации.

Новый LDM, натренированный в таком режиме, что можно использовать:
> Unconditional генерацию
> Class и Retrieval кондишн

То есть: Можно использовать только текстовое описание, а можно и помочь сети, похожими реальными примерами (похожие картинки будут выступать в качестве референсов)

Ну не круто ли?

📰 paper
🔬 Code

@Mishin Learning

💿 M U S I C \\\ R E C O M E N D A T I O N S

Друзья, посоветуйте интересной интеллектуальной музыки

Что-то их этого будет идеально:

- modern jazz
- XX-XXI academic
- prog \\\ experimental rock
- experimental avant electronic

➖ д я к у ю ➖

p.s.: в комменты занесу и свои рекомендации