Какой подход к генерации изображений Вам кажется более изящным?
1. CLIP + VQGAN
2. CLIP Guided Diffusion
3. StyleGAN/2/ada/nada etc
4. Dall•E подобные подходы
1. CLIP + VQGAN
2. CLIP Guided Diffusion
3. StyleGAN/2/ada/nada etc
4. Dall•E подобные подходы
🧠🎓 Language Models are Few-shot Multilingual Learners
В чем основная идея GPT-3?
- Модели колоссального размера, способны решать большой класс задач в few-shot или в zero-shot, без обновлений параметров!
Теперь не нужно файнтюнить?
- Да. Достаточно написать несколько примеров, задать сам вопрос и дальше модель продолжит все сама. Я только что сделал 2-shot перевод на GPT-J-6B: [guitar => гитара, violin => скрипка, saxophone => ] и получил в ответ [саксофон]
О чем пейпер?
- Ребята показали, что используя несколько примеров на одном языке в качестве контекста, предварительно обученные модели в задачах NLU на других языках, не просто лучше рандома, а конкурентны топовым кросс-языковыми моделями и моделями перевода.
1-shot ru-eng e.g.:
[pos] покажи мне мои будильники=>get_alarm=true\n
[neg] убрать все будильники=>get_alarm=false\n
[qry] set a different alarm=>get_alarm=
Очевидно, что умная модель должна будет сгенерировать false. Так как set a different alarm это не get_alarm, а set_alarm.
📰 paper 💻 code
В чем основная идея GPT-3?
- Модели колоссального размера, способны решать большой класс задач в few-shot или в zero-shot, без обновлений параметров!
Теперь не нужно файнтюнить?
- Да. Достаточно написать несколько примеров, задать сам вопрос и дальше модель продолжит все сама. Я только что сделал 2-shot перевод на GPT-J-6B: [guitar => гитара, violin => скрипка, saxophone => ] и получил в ответ [саксофон]
О чем пейпер?
- Ребята показали, что используя несколько примеров на одном языке в качестве контекста, предварительно обученные модели в задачах NLU на других языках, не просто лучше рандома, а конкурентны топовым кросс-языковыми моделями и моделями перевода.
1-shot ru-eng e.g.:
[pos] покажи мне мои будильники=>get_alarm=true\n
[neg] убрать все будильники=>get_alarm=false\n
[qry] set a different alarm=>get_alarm=
Очевидно, что умная модель должна будет сгенерировать false. Так как set a different alarm это не get_alarm, а set_alarm.
📰 paper 💻 code
This media is not supported in your browser
VIEW IN TELEGRAM
🏆 VGPNN: Diverse Generation from a Single Video Made Possible
Исследователи из Израиля представили быстрый и практичный метод генерации синтетических видео из одного естественного настоящего видео. Кроме того, метод может генерировать высококачественные Full-HD видео за считанные минуты.
📰 paper 📚git 💻 code (soon)
Исследователи из Израиля представили быстрый и практичный метод генерации синтетических видео из одного естественного настоящего видео. Кроме того, метод может генерировать высококачественные Full-HD видео за считанные минуты.
📰 paper 📚git 💻 code (soon)
⚠️🤖 Лекция от «Мишин Лернинг» Zero-Shot — Zero Problem о начале новой эпохи в современном AI
Недавно я запустил проект Трансформер | Прогрессивное ML Комьюнити и уже в этот четверг мы проведем нашу первую лекцию про самые важные технологии эпохи Zero-Shot.
Мы обсудим:
▪️ Что такое Zero-Shot?
▪️ Какие сферы жизни затронет этот подход?
▪️ Почему важно понимать как работает GPT-3?
▪️ Почему WuDao2.0 это nextgen?
▪️ Чего ждать от GPT-4?
▪️ Zero-Shot в NLP: Bert и GPT
▪️ CLIP от OpenAI, а что дальше?
▪️ CV+NLP: CLIP, Dall-E, WuDao2.0
▪️ Zero-Shot в искусстве
▪️ Разберем Dall-E, CLIP + VQGAN
▪️ Zero-Shot и будущее кодинга
▪️ Copilot | Codex
▪️ Зачем нам мультимодальность?
Ссылки и полезные материалы (колабы, ресурсы, статьи) придут по почте по итогам лекции
📅 19-30 (этот четверг) 23.09
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer
Недавно я запустил проект Трансформер | Прогрессивное ML Комьюнити и уже в этот четверг мы проведем нашу первую лекцию про самые важные технологии эпохи Zero-Shot.
Мы обсудим:
▪️ Что такое Zero-Shot?
▪️ Какие сферы жизни затронет этот подход?
▪️ Почему важно понимать как работает GPT-3?
▪️ Почему WuDao2.0 это nextgen?
▪️ Чего ждать от GPT-4?
▪️ Zero-Shot в NLP: Bert и GPT
▪️ CLIP от OpenAI, а что дальше?
▪️ CV+NLP: CLIP, Dall-E, WuDao2.0
▪️ Zero-Shot в искусстве
▪️ Разберем Dall-E, CLIP + VQGAN
▪️ Zero-Shot и будущее кодинга
▪️ Copilot | Codex
▪️ Зачем нам мультимодальность?
Ссылки и полезные материалы (колабы, ресурсы, статьи) придут по почте по итогам лекции
📅 19-30 (этот четверг) 23.09
🎓 Онлайн и бесплатно (по регистрации)
👉 ссылка на лекцию в Transformer
🌄 Новый GAN от Facebook Research IC-GAN: Instance-Conditioned GAN
Новый conditional GAN (instance-conditioned), да ещё в бонус к нему нативно прикрутили CLIP, дабы zero-shot’ил по-честному, а не только по классам генерил свой мультимодальный перевод.
GAN есть, код есть, CLIP сами прикрутили, и даже colab есть. А что это значит? Значит, что fb красавцы. Го тестить сеть? Сравним с biggan и diffusion.
📰 paper 💻 git 🔮colab
Новый conditional GAN (instance-conditioned), да ещё в бонус к нему нативно прикрутили CLIP, дабы zero-shot’ил по-честному, а не только по классам генерил свой мультимодальный перевод.
GAN есть, код есть, CLIP сами прикрутили, и даже colab есть. А что это значит? Значит, что fb красавцы. Го тестить сеть? Сравним с biggan и diffusion.
📰 paper 💻 git 🔮colab
💡 Какая тема была бы Вам более интересна? Чтобы я уделил ей больше времени в рамках лекции Zero-Shot — Zero Problem
Final Results
32%
NLP Zero-Shot: BERT, GPT
23%
CV Zero-Shot: CLIP, SimVLM
7%
Zero-Shot Coding | Codex
10%
GPT vs WuDao2.0
8%
Zero-Shot Image Generation: Dall•E and future Dall•E
11%
Zero-Shot Image Transfer and Generation, e.g.: VQGAN+CLIP, text2pixelart
10%
Multimodal Zero-Shot
Forwarded from Denis Sexy IT 🤖
Снова художники на Новом Арбате под угрозой – вышла очередная нейронка которая пытается сделать карикатуру по фото которое вы ей даете.
Работает невыносимо медленно и на основе StyleGan2, но я все же смог запустить и поиграться.
Вот тут код StyleCariGAN, а тут я сделал колаб и можете сами поиграться (но я ленивый и пути к картинками самим прописывать придется).
Работает невыносимо медленно и на основе StyleGan2, но я все же смог запустить и поиграться.
Вот тут код StyleCariGAN, а тут я сделал колаб и можете сами поиграться (но я ленивый и пути к картинками самим прописывать придется).
🎓 Сегодня в 19-30: Zero-Shot Zero Problem
Я скину ссылку на лекцию в 17-00, и сделаю напоминание в 18-55
Ссылки на полезные материалы придут после лекции!
До встречи вечером!
👉 на лекцию
Я скину ссылку на лекцию в 17-00, и сделаю напоминание в 18-55
Ссылки на полезные материалы придут после лекции!
До встречи вечером!
👉 на лекцию
Лекция Zero-Shot - Zero Problem от «Мишин Лернинг»
Что на лекции: Zero-Shot, BERT, GPT3, ViT, CLIP, SimVLM, WuDao2.0, Dall-E, CLIP + VQGAN, Codex и многое другое
https://youtu.be/-fpQLPAkIN0
Что на лекции: Zero-Shot, BERT, GPT3, ViT, CLIP, SimVLM, WuDao2.0, Dall-E, CLIP + VQGAN, Codex и многое другое
https://youtu.be/-fpQLPAkIN0
YouTube
Нейронные сети: Zero-Shot — Zero Problem | Bert, GPT-3, CLIP, DALL-E, WuDao2.0, Codex | Transformer
Лекция: Zero-Shot — Zero Problem от автора блога «Мишин Лернинг» о начале новой эпохи в современном AI. Transformer | Прогрессивное ML комьюнити
▪️ Что такое Zero-Shot?
▪️ Какие сферы жизни затронет этот подход?
▪️ Почему важно понимать как работает GPT…
▪️ Что такое Zero-Shot?
▪️ Какие сферы жизни затронет этот подход?
▪️ Почему важно понимать как работает GPT…
25 сентября, 115 лет со дня рождения Дмитрия Шостаковича
Картина подверглась нейростевому Zero-Shot Image Transfer по текстовому описанию: «Шостакович переносит себя в ноты. Фотореалистичный кубизм»
Предлагаю послушать одно из моих самых любимых произведений: cello concerto no.2 в современном исполнении виолончелистки Sol Gabetta.
Картина подверглась нейростевому Zero-Shot Image Transfer по текстовому описанию: «Шостакович переносит себя в ноты. Фотореалистичный кубизм»
Предлагаю послушать одно из моих самых любимых произведений: cello concerto no.2 в современном исполнении виолончелистки Sol Gabetta.
💐🤖 Новая SOTA на ImageNet: CoAtNet. Свадьба свертки и трансформера
Ресерчеры из Google Research, Brain Team создали архитектуру CoAtNet (depthwise Convolution and self-Attention Network) и выпустили пейпер с чудным названием: Marrying Convolution and Attention for All Data Sizes.
Проблема была в том, что огромные трансформеры, которые бьют SOTA на ImageNet, раскрывают свой потенциал на огромных датасетах (e.g.: ViT Huge на JFT-300M, 88.56% top-1), но не могут генерализировать знания и на обычном ImageNet (1.28M изображений), и даже на ImageNet-21 K (12.7M)
CoAtNet же показывает отличное ImageNet top-1 accuracy на всех претрейнах (и даже на самом ImageNet):
▪️ 86.00% - ImageNet
▪️ 88.56% - ImageNet-21 K
▪️ 90.88% - JFT-3B | SOTA 🏆
🤖 Архитектура проста: за residual блоками depthwise сверток следуют блоки residual multi-head relative attention. Генерализации добиваются возвращая сверку, обладающую известным inductive bias для изображений: трансляционной эквивалентностью фичей.
📰 paper 💻 кода нет
Ресерчеры из Google Research, Brain Team создали архитектуру CoAtNet (depthwise Convolution and self-Attention Network) и выпустили пейпер с чудным названием: Marrying Convolution and Attention for All Data Sizes.
Проблема была в том, что огромные трансформеры, которые бьют SOTA на ImageNet, раскрывают свой потенциал на огромных датасетах (e.g.: ViT Huge на JFT-300M, 88.56% top-1), но не могут генерализировать знания и на обычном ImageNet (1.28M изображений), и даже на ImageNet-21 K (12.7M)
CoAtNet же показывает отличное ImageNet top-1 accuracy на всех претрейнах (и даже на самом ImageNet):
▪️ 86.00% - ImageNet
▪️ 88.56% - ImageNet-21 K
▪️ 90.88% - JFT-3B | SOTA 🏆
🤖 Архитектура проста: за residual блоками depthwise сверток следуют блоки residual multi-head relative attention. Генерализации добиваются возвращая сверку, обладающую известным inductive bias для изображений: трансляционной эквивалентностью фичей.
📰 paper 💻 кода нет