✨ Нейросеть "Стебель Диффузии" доступна каждому

tl;dr Это первая опенсорснутая (и пока что лучшая) Text2Image нейросеть текщего поколения.

🌬 Что такое StableDiffusion? StableDiffusion — это диффузионный Text2Image (как и DALL-E 2) и очень удачный гибрид Latent Diffusion и Imagen.

Stable Diffusion производит диффузию не в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу: деталей больше, а вычислений меньше. Информация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen. SD это модуляр, состоящий из 3х модулей:
1. Frozen CLIP Text Tower (как LM)
2. U-Net (из Diffusion Models Beat GANs)
3. Decoder из 64х64х4 в 512х512х3

👉 Веса и модель (в том числе новый чекпоинт!)

🔮 Оптимизированный нотбук / колаб со всеми плюшками (зарегайся на HuggingFace и получи токен, ссылка выше)

🤗 Diffusers от HuggingFace (библиотека самого графа Диффузора)

📇 Блог пост Stability.AI про релиз весов

Мишин Лернинг

🔁 ERNIE-VILG: UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION

Может ли одна сеть решать две задачи:
— Text2Image & Image2Text —

Ответ да, конечно может. И самое начало 2022 года это подтвердило. В одно и тоже время, независимо, появились три подобные архитектуры.

Cкажу, что тренировать их end2end не стоит, если есть желание выбить SOTA в двух задачах одновременно. А вот использовать end2end претрейн — хорошая идея! Подход идеален для файнтюнов для множества задач!

Кстати сегодня стало доступно демо, так что можете сгенерировать своего "астронавта на коне на марсе с эйфелевой башней", не забудьте только перевести в гугле ваш запрос на китайский: 宇航员在火星上骑马，从后面可以看到埃菲尔铁塔。宇航员骑马

p.s.: понимание текста на голову выше чем у стебля диффузионного

📄 paper
🤗 online demo

🎨 OpenAI внедрили в DALL·E 2 "Outpainting"

Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2.

Outpainting позволяет генерировать изображения любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами.

+ Поэтапная, контролируемая генерация деталей и объектов
- Локальное рецептивное поле

Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы, развивая генерацию в новых направлениях, основываясь на вашем текстовом описании.

Это позволяет начать ваше полотно в одном стиле, а закончить в другом, уточнять элементы и менять их!

Outpainting — это Inpainting без привязки исходному разрешению..

📇 blog post
🥑 DALL-E 2 Editor

❗️OpenAI начало обучать GPT-4. Обучение будет закончено через пару месяцев

Сказать больше не могу, чтобы не подставлять.. Но что стоит знать:

— Огромное количество параметров
— Спарс парадигма?
— Стоимость обучения ~ $.e6
— Text, image-vqvae и текстовые токены в одном потоке (аудио? / видео?)
— SOTA в огромном количестве задач!
— Релизное окно: Декабрь-Февраль

p.s.: откуда инфа? ..оттуда. доверяю ли я ей сам? ну в чём-то да, в чём-то нет. мое дело рассказать, ваше — отказаться

@мишин лернинг

🔮 Стебель Диффузии v1.5 доступен всем в DreamStudio

Улечшения в сравнении с v1.4:
— Большая насмотренность эстетическими изображениями
— Лучшая сходимость: артефакты VAE/GAN f8 декодера не так манифестируют
— Более качественные лица
— Более целостная картинка
— Более детальный бэкграунд

👉 200 генераций в DreamStudio бесплатно

🤖 Мишин Лернинг

🚀 Про <ЭТО> или как генерить <Это>, если <Это> не включили в претрейн

Добавление новых объектов и концептов через p-tuning стало возможно в Стебле Диффузии!

Давайте представим ситуацию:
— Вы обучили огромную Text2Image модель на 1B данных
— Она умеет почти все, но не ЭТО! Время идет вперед и выходит фильм или игра, и новый сеттинг и новых персонажей сеть не знает, так как на момент тренировки этих данных в интернете просто не было

Сеть <это> не умеет, а генерировать <это> нужно... Что делать?

1) Дообучить модель добавив в датасет новые данные. Можно! Не ради же одного объекта, персонажа или концепта.. Слишком жирно будет..

2) Зафайнтюнить на новых данных. Хм, и потерять генерализацию?

3) Добвить новые зания в словарь модели, (пркатически) не трогая при этом сами веса! А вот это то, что нужно!

Ресерчеры из Университета Тель-Авива и NVIDIA решили это через старый добрый p-tuning. Работа получила имя An Image is Worth One Word (привет, VIT).

Взяв ~5 картинок они пустили градиенты
— Через 1000 шагов, тихо на денойзинге
— Через юнет и кросс-аттеншен
— Через языковой трансформер
— Прямо на эмбеддинг слой, так где находится токин с <этим> Смотри картинку к посту.

По факту это обыкновенный p-tuning, адаптированный под Imagen/Glide/LatenDiffusion модели.

Сегодня ребята адпатиорвали модель под Стебель! Так что если вы хотели генерить стеблем <Это>, то самое время!

Доступны 2 колаба:
1) для p-tuning'а стебля под <ЭТО>
2) для инференса, чтобы генерить <ЭТО>

Я сгенерировал игрушиченую машинку в стиле кота из примеров. Действительно запоминает.

📇 project
📄 paper
💻 code
🔮 train colab
👁 inference colab

🤖 Мишин Лернинг

🫐🍝🍓 Андрей Карпаты, устав от Тесла, запилил Stable Diffusion Video

Андрей Карпаты, как и ваш покорный слуга, получил доступ к весам Стебля Диффузии еще до того, как про стебель что-то было известно. Дело в том, что Андрей устал от Теслы, и заявил что хочет пилить опенсорс. Сказано — сделано!

Встречайте Stable Diffusion Video, основанный на коде Andrej Karpathy.

Как оно работает? На самом деле достаточно просто. Берётся несколько текстовых описаний, и затем CLIP text embedding’и интерполируются. При заданном seed можно получить относительно гладкую (все же не StyleGAN 3) анимацию.

Самое кайфовое, что можно уже начать генерить анимацию в гугл колабе!

🫐 code 🍓 colab
🤖 Мишин Лернинг

Сегодня (через 5 часов) состоится презентация Apple

Мне лично интересны AirPods Pro 2, и будет ли там Bluetooth 5.2 с поддержкой LE Audio, а так же есть ли смысл надеяться на в тройных кавычках """lossless"""?

Ну и новый дизайн часов тоже интересно глянуть.

👉 ссылка на вечерную Youtube трансляцию

⌚️ Apple Watch Ultra

$799

🎧 Airpods Pro 2

H2, spatial audio, noise cancellation 48000hz (что логично, Котельников же), спикер на корпусе.

249$