Доброе утро, народ! Вот вам пять строк, как запустить Stable Diffusion у себя на коленке. Не перегрейтесь!

Тут более подробный туториал.

@ai_newz

Сейчас в твиттере хайпует статья Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise. Авторы ставят под сомнение теорию, стоящую за диффузионными генеративными моделями, основной принцип которых строится на добавлении и удалении гауссовского шума. Ребята покумекали и показали, что вместо использования случайного гауссовского шума можно использовать и другие деструктивные операции над изображениями, например блюр, маскинг, даунсэмплинг, заснежение и др. Это довольно неожиданно, так как в этом случае нет теоретически гарантий. На практике работает тоже сносно, хоть и немного хуже чем гауссовскиц шум.

Я думаю, это довольно интересная рапира. Она проверяет насколько подогнанная теория строго выполняется на практике. Будем следить за дальнейшем развитием "обобщенной диффузии" в следующих статьях.

Кодяра
Папирус

@ai_newz

Пошло в массы. Теперь уже появился плагин для Фотошопа со Stable Diffusion. Дизайнеры, вы там держитесь! И покупайте видеокарты побольше!

Getalpaca.io

@ai_newz

Вот вам пацанский подгон от Meta RL. Датасет с высококачественными лицами одновременно с нескольких ракурсов – Multiface. Он использовался для обучения энкодера для Codec Avatars [тут и тут]. Будет полезен для всякого рода работ с нейронным рендерингом лиц.

❱❱ Датасет
❱❱ Статья

@ai_newz

NSFW заказывали? Кто-то говорил, что у прон художников пока работа будет всегда. Я уже засомневался.

Тут уже зафайнтюнили модельку (похоже на Stable Diffusion) под это пикантное дело. Ух, как закукарекают в твиттере!

Фото постить не буду, сами посмотрите: https://pornpen.ai/

MultiNeRF: A Code Release for Mip-NeRF 360, Ref-NeRF, and RawNeRF

Если ищете SOTA метод по нейронному рендерингу сцены, то Гугл выложили репозиторий с реализацией трёх oral статей с CVPR 2022. Это топовые на сегодняшний день методы.

Oral - это значит, что статья попала в шорт-лист лучших работ на конференции.

Ссылка на репу

@ai_newz

OpenAI добавили в DALLE-2 новую фичу – дорисовывание картинки наружу, или outpainting. Раньше это можно было делать только хаками с помощью уменьшения оригинальной картинки и добавления маски по краям. А теперь по-сути можно бесконечно увеличивать размер полотна.

https://openai.com/blog/dall-e-introducing-outpainting/

@ai_newz

​Lilian Weng обновила свой прошлогодний пост про диффузионные модели, включив туда обзор недавнего прогресса – classifier-free guidance, GLIDE, unCLIP, Imagen и Latent Diffusion.

Рекомендую, очень толковый пост.

Ссылочка

@ai_newz

Stable Diffusion теперь попал и в GIMP (это опен-соурс аналог Фотошопа). По вашему корявому скетчу сгенерирует что-то приятное бесплатно и без смс.

Круто! Плагин можно использовать даже если у вас нет GPU, но тогда придется запускать Гугл колаб на фоне.

@ai_newz

Автор генеративной обложки Cosmopolitan делится своим опытом и рассказывает по шагам, как генерировать такие видео с помощью DALLE-2, EbSynth и DAIN.

Инструментарий фешн дизайнеров тоже ждут большие перемены!

Про похожий эксперимент с дизайном одежды я писал тут.

@ai_newz

Последние несколько недель большая часть моей ленты в твиттере заполнена поделками DALLE-2 и подобных генеративных сеток. А вот и очередной крышеснос (смотреть видео со звуком 🔊).

Тут использовали AI, чтобы трансформировать сразу и видео и аудио: Koe Recast + Stable Diffusion img2img + EbSynth.

И такие штуки можно делать без особо глубокого понимания внутренностей моделей. Это уже просто инструменты в руках дизайнеров и художников.

@ai_newz

В капче (hcaptcha) кожаных мешков заставляют размечать картинки, сгенерированные нейросетями. Это новый виток!

Спасибо подписчику за перл.

@ai_newz

Такая магия делается в два счета. Релайтнинг фото прямо в браузере.

Сначала нейронкой предсказывается карта глубины и нормали к поверхности в каждом пикселе. Затем 2D изображение трансформируется в объемное 2.5D и с помощью threejs рендерится с дополнительным источником света в указанном месте. Всё.

@ai_newz

Вот так выглядит промежуточный этап с представлением в 2.5D

@ai_newz

Что будет если попробовать соединить известные картины Ван Гога, Моне, Мюнка и Хокусая?

Молитвами Dalle-2 outpainting получаем такой результат.

@ai_newz

Новый виток развития PyTorch как публичного проекта с открытым кодом!

PyTorch перейдет под контроль PyTorch Foundation как часть Linux Foundation. Теперь Фреймворк будут разрабатывать не только ученые из Meta. В PyTorch Foundation войдут люди из разных компаний, включая AMD, Amazon, Google, Microsoft, Nvidia и Meta.

@ai_newz

Это то, как может выглядеть интерфейс для редактирования и монтажа видео в будущем. Когда диффузия будет быстрой, а видеокарты большими и дешёвыми. Просто печатаете своё желание в окошке, а нейронки делают за вас всю тяжёлую работу.

Так и до генерации разных сюжетных веток фильма на лету по запросу пользователя можем дожить. Но пока – это всего лишь промо-ролик продукта https://runwayml.com *. Уже можно запросить доступ к бете. Но люди, попробовавшие её, говорят что там ещё не близкий путь до результатов, показанных в видео.

* Disclaimer: В Runway работает мой бывший одногруппник и один из авторов Stable Diffusion.

Искусственный интеллект помогает людям решать всё больше сложных задач. Всё потому, что нейронные сети становятся жирнее и умнее, и обучаются сегодня на террабайтах данных.

В видео на канале DeepMind подробно рассказывается, как ИИ используют для ускорения научных открытий. Спикером выступает Демис Хассабис, соучредитель и генеральный директор DeepMind. Такие видео, как и многая другая современная и полезная информация о технологиях и разработке, на английском.

Теперь твист: видео можно перевести на русский с помощью фичи закадрового перевода видео в Яндекс Браузере (опять нейронки спасают!). Если у вас его нет, установить на смартфон можно по ссылке.

@ai_newz