MixNMatch: Декомпозиция Стиля, Позы, Формы и «культурного» Бэкграунда
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Изображения x пропускают через 4 энкодера:
▪️Ez(x) - кодирует латентщину
▪️Eb(x) - задник (бекнраунд)
▪️Ep(x) - позу
▪️Ec(x) - стиль, текстуру
Затем взад-назад. Из z, b, p, c генерят картинки:
▪️сначала из b, z - задник
▪️потом на него наносят маску позы из z, p
▪️а потом стильно полируют текстурой из z, c
на все три стейджа - 3 лосса
При этом ещё 4 адверсариал лосса учат истинность и ложность пар изображения и их кодировок.
📰 папир 💻 имплементация
Эволюция AI мемов и few-shot для самых маленьких
С мемов про detection и котика, распознанного как пса, к мемам про few-shot learning.
Это говорит о том, что zero-shot / few-shot (обучение без ‘обучения’) входит в общественное сознание, возможно не терминологически, а именно концептуально.
p.s. протестил на GPT-J-6B. Работает, хоть и не идеально.. теперь понимаю почему страдают jun’ы
🧠 GPT-J-6B опробовать GPT с 6,000,000,000 параметров самому онлайн
С мемов про detection и котика, распознанного как пса, к мемам про few-shot learning.
Это говорит о том, что zero-shot / few-shot (обучение без ‘обучения’) входит в общественное сознание, возможно не терминологически, а именно концептуально.
p.s. протестил на GPT-J-6B. Работает, хоть и не идеально.. теперь понимаю почему страдают jun’ы
🧠 GPT-J-6B опробовать GPT с 6,000,000,000 параметров самому онлайн
Forwarded from Derp Learning
AMD has joined the game.
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор операторов пока очень ограничен, но это отличный вектор развития.
Юзается легко - просто заменяете device с 'cuda' на 'dml'.
гит
пост
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор операторов пока очень ограничен, но это отличный вектор развития.
Юзается легко - просто заменяете device с 'cuda' на 'dml'.
гит
пост
📣🤗 T0 — Быстрее, умнее и легче GPT-3 в 16 раз + собрал Colab | Zero-Shot NLP
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасета, дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасета, дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
📣 В эту субботу в 10-00 на топовой конференции AI Ukraine буду открывать поток Data Science and Machine Learning
Моя тема, открывающая поток Data Science and Machine Learning, называется Zero Shot ’Em All.
Я расскажу про Zero-Shot в CV и NLP. Будет и про новые подходы Object Detection, и про новую T0, которая обгоняет GPT-3, будучи меньше в 16 раз. И даже коснемся Zero-Shot Distillation.
Кроме моего доклада, будут очень сильные ребята, в том числе из Facebook AI Research lab, Adobe, Microsoft, Google Cloud, Snap Inc.
Смог получить для нашего канала промокод mishin_learning на 25%, а для студентов конференция бесплатная! Так что до встречи в эту субботу!
🎓👉 AI Ukraine Online Conference
October 30, 2021
Моя тема, открывающая поток Data Science and Machine Learning, называется Zero Shot ’Em All.
Я расскажу про Zero-Shot в CV и NLP. Будет и про новые подходы Object Detection, и про новую T0, которая обгоняет GPT-3, будучи меньше в 16 раз. И даже коснемся Zero-Shot Distillation.
Кроме моего доклада, будут очень сильные ребята, в том числе из Facebook AI Research lab, Adobe, Microsoft, Google Cloud, Snap Inc.
Смог получить для нашего канала промокод mishin_learning на 25%, а для студентов конференция бесплатная! Так что до встречи в эту субботу!
🎓👉 AI Ukraine Online Conference
October 30, 2021
This media is not supported in your browser
VIEW IN TELEGRAM
Тут известный StyleGAN кудесник и шаман L4RZ натренил идейно верный и правильный StyleGAN3
This media is not supported in your browser
VIEW IN TELEGRAM
🎯💬 Пайплайн Zero-shot классификации текстов через NLI на любом языке + Colab | BART Zero-shot NLP
Нужно классифицировать тексты, но нет времени, данных или возможности, чтобы обучать что-то свое?
Zero-Shot — под любой язык
Подход может использовать любую модель, обученную задаче NLI, по умолчанию советую bart-large-mnli.
NLI (Natural language inference, вывод на естественном языке)— это задача определения того, является ли «гипотеза» истинной (следствие), ложной (противоречие) или неопределенной (нейтральной) с учетом «предпосылки».
<cls> Who are you voting for in 2021 ? <sep> This example is politics. <sep>
С точки зрения NLI эти два предложения логически согласованны. А если бы второе предложение было <sep> This example is sports. <sep>, то два предложения были бы несогласованны.
Такой подход можно использовать для Zero-shot классификации с разными кандидатами. Подаем предложение и классы, и все! (См gif)
p.s.: работает на 100+ языках!
🔮Colab NLI Zero Shot Pipeline
Нужно классифицировать тексты, но нет времени, данных или возможности, чтобы обучать что-то свое?
Zero-Shot — под любой язык
Подход может использовать любую модель, обученную задаче NLI, по умолчанию советую bart-large-mnli.
NLI (Natural language inference, вывод на естественном языке)— это задача определения того, является ли «гипотеза» истинной (следствие), ложной (противоречие) или неопределенной (нейтральной) с учетом «предпосылки».
<cls> Who are you voting for in 2021 ? <sep> This example is politics. <sep>
С точки зрения NLI эти два предложения логически согласованны. А если бы второе предложение было <sep> This example is sports. <sep>, то два предложения были бы несогласованны.
Такой подход можно использовать для Zero-shot классификации с разными кандидатами. Подаем предложение и классы, и все! (См gif)
p.s.: работает на 100+ языках!
🔮Colab NLI Zero Shot Pipeline
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🦹 Лекция StyleGAN 1-2-3 Speed Dive от самого L4RZ
Вы и так знаете StyleGAN кудесника из твиттера L4RZ по косплей моделям, женщинам-кошкам (неко-тян) из моих постов и постов Denis Sexy IT и эйай ньюз (первый, второй), так что в представлении мастер не нуждается.
В эту субботу в 14-00 состоится нечто невероятное! L4RZ решил сделать 2х часовую лекцию по StyleGAN 1, 2, Ada, даже StyleGAN3
▫️GAN
- What is a GAN? Generator VS Discriminator
- Milestone works (Goodfellow, Mooch, Karras)
▫️StyleGAN 1-2-3
- Issues encountered (mode collapse, positional artifacts)
- StyleGAN 1 -> 2 -> ada -> 3
▫️Practical Aspects
- Training
- Sampling
- Visualizing
- Cool projects
🎓 Когда? 14:00 (эта суббота) 30 октября
🎬 Где? YouTube канал Трансформер
👉 регистрация на лекцию L4RZ: StyleGAN 1-2-3 Speed Dive | ссылки вышлем на почту в пт в 21:00 и в сб в 12:00
p.s.: Саша Грей приглашает тебя на лекцию и найти ее самому по текстовому описанию в пространстве гана L4RZ
🔮колаб StyleGAN2/3+CLIP
Вы и так знаете StyleGAN кудесника из твиттера L4RZ по косплей моделям, женщинам-кошкам (неко-тян) из моих постов и постов Denis Sexy IT и эйай ньюз (первый, второй), так что в представлении мастер не нуждается.
В эту субботу в 14-00 состоится нечто невероятное! L4RZ решил сделать 2х часовую лекцию по StyleGAN 1, 2, Ada, даже StyleGAN3
▫️GAN
- What is a GAN? Generator VS Discriminator
- Milestone works (Goodfellow, Mooch, Karras)
▫️StyleGAN 1-2-3
- Issues encountered (mode collapse, positional artifacts)
- StyleGAN 1 -> 2 -> ada -> 3
▫️Practical Aspects
- Training
- Sampling
- Visualizing
- Cool projects
🎓 Когда? 14:00 (эта суббота) 30 октября
🎬 Где? YouTube канал Трансформер
👉 регистрация на лекцию L4RZ: StyleGAN 1-2-3 Speed Dive | ссылки вышлем на почту в пт в 21:00 и в сб в 12:00
p.s.: Саша Грей приглашает тебя на лекцию и найти ее самому по текстовому описанию в пространстве гана L4RZ
🔮колаб StyleGAN2/3+CLIP
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧿 Meta.com = Facebook + Messenger + Instagram + WhatsApp + Oculus
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Вы бы хотели общаться со своими близкими на расстоянии и при этом чувствовать себя так, как будто вы находитесь рядом с ними?
Исследователи изFacebook Meta Reality Labs работают над тем, чтобы это стало реальностью! Некоторые из их наработок по фотореалистичным аватарам в полный рост были опубликованы на конференции Facebook Connect.
На видео ненастоящий человек, а его аватар! Что там происходит: девушка справа двигается в виртуальноми пространстве, а перед ней стоит виртуальный Ясер Шейх (директор лабы в Питтсбурге) и разговаривает с ней. Качество поражает!
Исследователи из
На видео ненастоящий человек, а его аватар! Что там происходит: девушка справа двигается в виртуальноми пространстве, а перед ней стоит виртуальный Ясер Шейх (директор лабы в Питтсбурге) и разговаривает с ней. Качество поражает!
This media is not supported in your browser
VIEW IN TELEGRAM
🤖🐶 Boston Dynamics сделали робото-cover на клип The Rolling Stones в честь 40-летия выхода альбома Tattoo You 🔊