🔁 ERNIE-VILG: UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION

Может ли одна сеть решать две задачи:
— Text2Image & Image2Text —

Ответ да, конечно может. И самое начало 2022 года это подтвердило. В одно и тоже время, независимо, появились три подобные архитектуры.

Cкажу, что тренировать их end2end не стоит, если есть желание выбить SOTA в двух задачах одновременно. А вот использовать end2end претрейн — хорошая идея! Подход идеален для файнтюнов для множества задач!

Кстати сегодня стало доступно демо, так что можете сгенерировать своего "астронавта на коне на марсе с эйфелевой башней", не забудьте только перевести в гугле ваш запрос на китайский: 宇航员在火星上骑马，从后面可以看到埃菲尔铁塔。宇航员骑马

p.s.: понимание текста на голову выше чем у стебля диффузионного

📄 paper
🤗 online demo

🎨 OpenAI внедрили в DALL·E 2 "Outpainting"

Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2.

Outpainting позволяет генерировать изображения любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами.

+ Поэтапная, контролируемая генерация деталей и объектов
- Локальное рецептивное поле

Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы, развивая генерацию в новых направлениях, основываясь на вашем текстовом описании.

Это позволяет начать ваше полотно в одном стиле, а закончить в другом, уточнять элементы и менять их!

Outpainting — это Inpainting без привязки исходному разрешению..

📇 blog post
🥑 DALL-E 2 Editor

❗️OpenAI начало обучать GPT-4. Обучение будет закончено через пару месяцев

Сказать больше не могу, чтобы не подставлять.. Но что стоит знать:

— Огромное количество параметров
— Спарс парадигма?
— Стоимость обучения ~ $.e6
— Text, image-vqvae и текстовые токены в одном потоке (аудио? / видео?)
— SOTA в огромном количестве задач!
— Релизное окно: Декабрь-Февраль

p.s.: откуда инфа? ..оттуда. доверяю ли я ей сам? ну в чём-то да, в чём-то нет. мое дело рассказать, ваше — отказаться

@мишин лернинг

🔮 Стебель Диффузии v1.5 доступен всем в DreamStudio

Улечшения в сравнении с v1.4:
— Большая насмотренность эстетическими изображениями
— Лучшая сходимость: артефакты VAE/GAN f8 декодера не так манифестируют
— Более качественные лица
— Более целостная картинка
— Более детальный бэкграунд

👉 200 генераций в DreamStudio бесплатно

🤖 Мишин Лернинг

🚀 Про <ЭТО> или как генерить <Это>, если <Это> не включили в претрейн

Добавление новых объектов и концептов через p-tuning стало возможно в Стебле Диффузии!

Давайте представим ситуацию:
— Вы обучили огромную Text2Image модель на 1B данных
— Она умеет почти все, но не ЭТО! Время идет вперед и выходит фильм или игра, и новый сеттинг и новых персонажей сеть не знает, так как на момент тренировки этих данных в интернете просто не было

Сеть <это> не умеет, а генерировать <это> нужно... Что делать?

1) Дообучить модель добавив в датасет новые данные. Можно! Не ради же одного объекта, персонажа или концепта.. Слишком жирно будет..

2) Зафайнтюнить на новых данных. Хм, и потерять генерализацию?

3) Добвить новые зания в словарь модели, (пркатически) не трогая при этом сами веса! А вот это то, что нужно!

Ресерчеры из Университета Тель-Авива и NVIDIA решили это через старый добрый p-tuning. Работа получила имя An Image is Worth One Word (привет, VIT).

Взяв ~5 картинок они пустили градиенты
— Через 1000 шагов, тихо на денойзинге
— Через юнет и кросс-аттеншен
— Через языковой трансформер
— Прямо на эмбеддинг слой, так где находится токин с <этим> Смотри картинку к посту.

По факту это обыкновенный p-tuning, адаптированный под Imagen/Glide/LatenDiffusion модели.

Сегодня ребята адпатиорвали модель под Стебель! Так что если вы хотели генерить стеблем <Это>, то самое время!

Доступны 2 колаба:
1) для p-tuning'а стебля под <ЭТО>
2) для инференса, чтобы генерить <ЭТО>

Я сгенерировал игрушиченую машинку в стиле кота из примеров. Действительно запоминает.

📇 project
📄 paper
💻 code
🔮 train colab
👁 inference colab

🤖 Мишин Лернинг

🫐🍝🍓 Андрей Карпаты, устав от Тесла, запилил Stable Diffusion Video

Андрей Карпаты, как и ваш покорный слуга, получил доступ к весам Стебля Диффузии еще до того, как про стебель что-то было известно. Дело в том, что Андрей устал от Теслы, и заявил что хочет пилить опенсорс. Сказано — сделано!

Встречайте Stable Diffusion Video, основанный на коде Andrej Karpathy.

Как оно работает? На самом деле достаточно просто. Берётся несколько текстовых описаний, и затем CLIP text embedding’и интерполируются. При заданном seed можно получить относительно гладкую (все же не StyleGAN 3) анимацию.

Самое кайфовое, что можно уже начать генерить анимацию в гугл колабе!

🫐 code 🍓 colab
🤖 Мишин Лернинг

Сегодня (через 5 часов) состоится презентация Apple

Мне лично интересны AirPods Pro 2, и будет ли там Bluetooth 5.2 с поддержкой LE Audio, а так же есть ли смысл надеяться на в тройных кавычках """lossless"""?

Ну и новый дизайн часов тоже интересно глянуть.

👉 ссылка на вечерную Youtube трансляцию

⌚️ Apple Watch Ultra

$799

🎧 Airpods Pro 2

H2, spatial audio, noise cancellation 48000hz (что логично, Котельников же), спикер на корпусе.

249$

👁 DreamStudio — Космический корабль на подходе

Сразу оговорюсь, на слитом видео очень ранний билд, который был еще какое-то время назад.

Как видно, функционал далеко не ограничен Стеблем. DreamStudio это не просто про API, а полноценная AI студия.

Различные нейросети, методы, функции, ноды. По факту это первый инструментарий для AI художников.

🌊 Н е й р о э с т е т и к а

🥽 Видео с VR гарнитурой Quest Pro слили за месяц до официального показа

Немного оффтопа. В 2021-ом году я купил свой первый VR хедсет. Хотя многие скажут, что 2021 год — поздно для знакомства с VR, но я скажу, что именно к 2021 году технология созрела:

— Доступная цена в 300$ за хэдсет
— Приемлемое разрешение и высокая герцовка
— Возможность комфортно играть без проводов по Wi-Fi 6

Я поиграл в множество тайтлов, весело проводил время в vr чатах, и смотрел всякое разное. Для себя могу выделить:

🎮 Half-Life Alyx — Просто шедевр. Уникальный экспириенс ради которого смело стоит брать VR.

⚔️ Skyrim VR — с кучей модов и на 2080ti (конечно на 4090ti будет еще лучше). Первая прогулка пешком от Ривервуда до Вайтрана это незабываемо.

И вот в конце 2021го года появилась информация о неком Project Cambria от террористов-экстремистов из Meta. Было известно, что хэдсет будет обладать большей компактностью и возможностью оперировать в дополненной реальность, благодаря цветным камерам на устройстве.

И вот сегодня появился слив, полноценное видео с хэдсетом. Где все подробно можно разглядеть. Устройстов получит имя Quest Pro. Так что буду ждать с нетерпением. Скорее всего устройстов можно будет приобрести к концу октября этого года. Скорее всего увеличат угол обзора и подтянут разрешение, а благодаря новым камерам и датчикам, погружение в VR выйдет на новый уровень.

🤖 Мишин Лернинг

✨ CLIP ViT-H/14 надо?

Самый большой публично доступный клип, с топовым из доступных качеством 77,9% 0-shot ImageNet

👉 https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K