Dall•E позволяет получать консистентные изображения

Недавно ставил эксперименты с Dall•E-подобной архитектурой, которая в 4 раза меньше оригинала от OpenAI.

+ Генерации выходят целостными
- Мыльно (VQ-VAE) и мало деталей (не очень большой трансформер)

p.s.: медведица предлагает выпить с ней водки

Решил попробовать рисование, используя Zero-Shot Image Transfer

Пока выходит крипово, но есть идеи сделать дифференцируемые фильтры, типа: чб, контуры, изогелия и прочее

p.s.: записал импровизацию, одна дорожка гитары, много педалей

🧠🎓 Language Models are Few-shot Multilingual Learners

В чем основная идея GPT-3?
- Модели колоссального размера, способны решать большой класс задач в few-shot или в zero-shot, без обновлений параметров!

Теперь не нужно файнтюнить?
- Да. Достаточно написать несколько примеров, задать сам вопрос и дальше модель продолжит все сама. Я только что сделал 2-shot перевод на GPT-J-6B: [guitar => гитара, violin => скрипка, saxophone => ] и получил в ответ [саксофон]

О чем пейпер?
- Ребята показали, что используя несколько примеров на одном языке в качестве контекста, предварительно обученные модели в задачах NLU на других языках, не просто лучше рандома, а конкурентны топовым кросс-языковыми моделями и моделями перевода.

1-shot ru-eng e.g.:
[pos] покажи мне мои будильники=>get_alarm=true\n
[neg] убрать все будильники=>get_alarm=false\n
[qry] set a different alarm=>get_alarm=

Очевидно, что умная модель должна будет сгенерировать false. Так как set a different alarm это не get_alarm, а set_alarm.

📰 paper 💻 code

🏆 VGPNN: Diverse Generation from a Single Video Made Possible

Исследователи из Израиля представили быстрый и практичный метод генерации синтетических видео из одного естественного настоящего видео. Кроме того, метод может генерировать высококачественные Full-HD видео за считанные минуты.

📰 paper 📚git 💻 code (soon)

⚠️🤖 Лекция от «Мишин Лернинг» Zero-Shot — Zero Problem о начале новой эпохи в современном AI

Недавно я запустил проект Трансформер | Прогрессивное ML Комьюнити и уже в этот четверг мы проведем нашу первую лекцию про самые важные технологии эпохи Zero-Shot.

Мы обсудим:
▪️ Что такое Zero-Shot?
▪️ Какие сферы жизни затронет этот подход?
▪️ Почему важно понимать как работает GPT-3?
▪️ Почему WuDao2.0 это nextgen?
▪️ Чего ждать от GPT-4?
▪️ Zero-Shot в NLP: Bert и GPT
▪️ CLIP от OpenAI, а что дальше?
▪️ CV+NLP: CLIP, Dall-E, WuDao2.0
▪️ Zero-Shot в искусстве
▪️ Разберем Dall-E, CLIP + VQGAN
▪️ Zero-Shot и будущее кодинга
▪️ Copilot | Codex
▪️ Зачем нам мультимодальность?

Ссылки и полезные материалы (колабы, ресурсы, статьи) придут по почте по итогам лекции

📅 19-30 (этот четверг) 23.09
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer

🌄 Новый GAN от Facebook Research IC-GAN: Instance-Conditioned GAN

Новый conditional GAN (instance-conditioned), да ещё в бонус к нему нативно прикрутили CLIP, дабы zero-shot’ил по-честному, а не только по классам генерил свой мультимодальный перевод.

GAN есть, код есть, CLIP сами прикрутили, и даже colab есть. А что это значит? Значит, что fb красавцы. Го тестить сеть? Сравним с biggan и diffusion.

📰 paper 💻 git 🔮colab

🎓 Сегодня в 19-30: Zero-Shot Zero Problem

Я скину ссылку на лекцию в 17-00, и сделаю напоминание в 18-55

Ссылки на полезные материалы придут после лекции!

До встречи вечером!

👉 на лекцию

Лекция Zero-Shot - Zero Problem от «Мишин Лернинг»

Что на лекции: Zero-Shot, BERT, GPT3, ViT, CLIP, SimVLM, WuDao2.0, Dall-E, CLIP + VQGAN, Codex и многое другое

https://youtu.be/-fpQLPAkIN0