📣🤗 T0 — Быстрее, умнее и легче GPT-3 в 16 раз + собрал Colab | Zero-Shot NLP
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасета, дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасета, дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал сolab (3B, 100ms) для быстрого решения многих nlp задач, ведь T0 и GPT-3 — нейросети, которые можно не дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
📣 В эту субботу в 10-00 на топовой конференции AI Ukraine буду открывать поток Data Science and Machine Learning
Моя тема, открывающая поток Data Science and Machine Learning, называется Zero Shot ’Em All.
Я расскажу про Zero-Shot в CV и NLP. Будет и про новые подходы Object Detection, и про новую T0, которая обгоняет GPT-3, будучи меньше в 16 раз. И даже коснемся Zero-Shot Distillation.
Кроме моего доклада, будут очень сильные ребята, в том числе из Facebook AI Research lab, Adobe, Microsoft, Google Cloud, Snap Inc.
Смог получить для нашего канала промокод mishin_learning на 25%, а для студентов конференция бесплатная! Так что до встречи в эту субботу!
🎓👉 AI Ukraine Online Conference
October 30, 2021
Моя тема, открывающая поток Data Science and Machine Learning, называется Zero Shot ’Em All.
Я расскажу про Zero-Shot в CV и NLP. Будет и про новые подходы Object Detection, и про новую T0, которая обгоняет GPT-3, будучи меньше в 16 раз. И даже коснемся Zero-Shot Distillation.
Кроме моего доклада, будут очень сильные ребята, в том числе из Facebook AI Research lab, Adobe, Microsoft, Google Cloud, Snap Inc.
Смог получить для нашего канала промокод mishin_learning на 25%, а для студентов конференция бесплатная! Так что до встречи в эту субботу!
🎓👉 AI Ukraine Online Conference
October 30, 2021
This media is not supported in your browser
VIEW IN TELEGRAM
Тут известный StyleGAN кудесник и шаман L4RZ натренил идейно верный и правильный StyleGAN3
This media is not supported in your browser
VIEW IN TELEGRAM
🎯💬 Пайплайн Zero-shot классификации текстов через NLI на любом языке + Colab | BART Zero-shot NLP
Нужно классифицировать тексты, но нет времени, данных или возможности, чтобы обучать что-то свое?
Zero-Shot — под любой язык
Подход может использовать любую модель, обученную задаче NLI, по умолчанию советую bart-large-mnli.
NLI (Natural language inference, вывод на естественном языке)— это задача определения того, является ли «гипотеза» истинной (следствие), ложной (противоречие) или неопределенной (нейтральной) с учетом «предпосылки».
<cls> Who are you voting for in 2021 ? <sep> This example is politics. <sep>
С точки зрения NLI эти два предложения логически согласованны. А если бы второе предложение было <sep> This example is sports. <sep>, то два предложения были бы несогласованны.
Такой подход можно использовать для Zero-shot классификации с разными кандидатами. Подаем предложение и классы, и все! (См gif)
p.s.: работает на 100+ языках!
🔮Colab NLI Zero Shot Pipeline
Нужно классифицировать тексты, но нет времени, данных или возможности, чтобы обучать что-то свое?
Zero-Shot — под любой язык
Подход может использовать любую модель, обученную задаче NLI, по умолчанию советую bart-large-mnli.
NLI (Natural language inference, вывод на естественном языке)— это задача определения того, является ли «гипотеза» истинной (следствие), ложной (противоречие) или неопределенной (нейтральной) с учетом «предпосылки».
<cls> Who are you voting for in 2021 ? <sep> This example is politics. <sep>
С точки зрения NLI эти два предложения логически согласованны. А если бы второе предложение было <sep> This example is sports. <sep>, то два предложения были бы несогласованны.
Такой подход можно использовать для Zero-shot классификации с разными кандидатами. Подаем предложение и классы, и все! (См gif)
p.s.: работает на 100+ языках!
🔮Colab NLI Zero Shot Pipeline
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🦹 Лекция StyleGAN 1-2-3 Speed Dive от самого L4RZ
Вы и так знаете StyleGAN кудесника из твиттера L4RZ по косплей моделям, женщинам-кошкам (неко-тян) из моих постов и постов Denis Sexy IT и эйай ньюз (первый, второй), так что в представлении мастер не нуждается.
В эту субботу в 14-00 состоится нечто невероятное! L4RZ решил сделать 2х часовую лекцию по StyleGAN 1, 2, Ada, даже StyleGAN3
▫️GAN
- What is a GAN? Generator VS Discriminator
- Milestone works (Goodfellow, Mooch, Karras)
▫️StyleGAN 1-2-3
- Issues encountered (mode collapse, positional artifacts)
- StyleGAN 1 -> 2 -> ada -> 3
▫️Practical Aspects
- Training
- Sampling
- Visualizing
- Cool projects
🎓 Когда? 14:00 (эта суббота) 30 октября
🎬 Где? YouTube канал Трансформер
👉 регистрация на лекцию L4RZ: StyleGAN 1-2-3 Speed Dive | ссылки вышлем на почту в пт в 21:00 и в сб в 12:00
p.s.: Саша Грей приглашает тебя на лекцию и найти ее самому по текстовому описанию в пространстве гана L4RZ
🔮колаб StyleGAN2/3+CLIP
Вы и так знаете StyleGAN кудесника из твиттера L4RZ по косплей моделям, женщинам-кошкам (неко-тян) из моих постов и постов Denis Sexy IT и эйай ньюз (первый, второй), так что в представлении мастер не нуждается.
В эту субботу в 14-00 состоится нечто невероятное! L4RZ решил сделать 2х часовую лекцию по StyleGAN 1, 2, Ada, даже StyleGAN3
▫️GAN
- What is a GAN? Generator VS Discriminator
- Milestone works (Goodfellow, Mooch, Karras)
▫️StyleGAN 1-2-3
- Issues encountered (mode collapse, positional artifacts)
- StyleGAN 1 -> 2 -> ada -> 3
▫️Practical Aspects
- Training
- Sampling
- Visualizing
- Cool projects
🎓 Когда? 14:00 (эта суббота) 30 октября
🎬 Где? YouTube канал Трансформер
👉 регистрация на лекцию L4RZ: StyleGAN 1-2-3 Speed Dive | ссылки вышлем на почту в пт в 21:00 и в сб в 12:00
p.s.: Саша Грей приглашает тебя на лекцию и найти ее самому по текстовому описанию в пространстве гана L4RZ
🔮колаб StyleGAN2/3+CLIP
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧿 Meta.com = Facebook + Messenger + Instagram + WhatsApp + Oculus
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Вы бы хотели общаться со своими близкими на расстоянии и при этом чувствовать себя так, как будто вы находитесь рядом с ними?
Исследователи изFacebook Meta Reality Labs работают над тем, чтобы это стало реальностью! Некоторые из их наработок по фотореалистичным аватарам в полный рост были опубликованы на конференции Facebook Connect.
На видео ненастоящий человек, а его аватар! Что там происходит: девушка справа двигается в виртуальноми пространстве, а перед ней стоит виртуальный Ясер Шейх (директор лабы в Питтсбурге) и разговаривает с ней. Качество поражает!
Исследователи из
На видео ненастоящий человек, а его аватар! Что там происходит: девушка справа двигается в виртуальноми пространстве, а перед ней стоит виртуальный Ясер Шейх (директор лабы в Питтсбурге) и разговаривает с ней. Качество поражает!
This media is not supported in your browser
VIEW IN TELEGRAM
🤖🐶 Boston Dynamics сделали робото-cover на клип The Rolling Stones в честь 40-летия выхода альбома Tattoo You 🔊
This media is not supported in your browser
VIEW IN TELEGRAM
🦹 Лекция StyleGAN 1-2-3 Speed Dive от L4RZ
Сегодня в 14-00 состоится 2х часовая лекция от StyleGAN кудесника из твиттера L4RZ по StyleGAN 1, 2, Ada, даже StyleGAN3.
L4RZ расскажет, как тренировать StyleGAN’ы, про семплинг, Z space, проекции изображений (используя VGG/CLIP), работу в W vs W+, визуализацию StyleGAN слоев, а также поделится крутыми хаками, трюками и проектами.
Все, что нужно знать о StyleGAN’ах и даже больше!
👉 https://youtu.be/9A1oI86vQe0
Сегодня в 14-00 состоится 2х часовая лекция от StyleGAN кудесника из твиттера L4RZ по StyleGAN 1, 2, Ada, даже StyleGAN3.
L4RZ расскажет, как тренировать StyleGAN’ы, про семплинг, Z space, проекции изображений (используя VGG/CLIP), работу в W vs W+, визуализацию StyleGAN слоев, а также поделится крутыми хаками, трюками и проектами.
Все, что нужно знать о StyleGAN’ах и даже больше!
👉 https://youtu.be/9A1oI86vQe0
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Наконец-то новая моделька SG3 стала похожа на то, ради чего я ее треню – неимоверно долго все тренится, зато красивое (телеграм сжатие чуть убило качество)
🤖 ML курс от «Мишин Лернинг» — отличная новость для всех, кто хочет выучить Data Science и Machine Learning в Украине
🎓 Сегодня официально открыл набор на курс Introduction to Machine Learning & Neural Networks в Transformer, где я буду куратором!
🎯 Цель курса — обучение и подготовка высокооплачиваемых специалистов в области machine learning и data science. Моя задача не просто выпустить квалифицированных специалистов, но развивать прогрессивное ml-комьюнити, частью которого становятся наши студенты.
📅 Занятия стартуют 30 ноября и будут проходить в живом онлайн формате по вторникам и четвергам (19:30 - 21:30) на протяжении трёх месяцев (я читаю лекции онлайн вживую, проверяю домашние работы, даю фидбэк и менторю финальный проект).
Оплата возможна только с территории Украины. Для того чтобы попасть на курс, необходимо сдать тестовое задание.
До начала осталось меньше месяца!
👉 Записаться на мой курс
p.s.: персонаж-трансформер, как и все картинки на сайте полностью сгенерированы нейронными сетями
🎓 Сегодня официально открыл набор на курс Introduction to Machine Learning & Neural Networks в Transformer, где я буду куратором!
🎯 Цель курса — обучение и подготовка высокооплачиваемых специалистов в области machine learning и data science. Моя задача не просто выпустить квалифицированных специалистов, но развивать прогрессивное ml-комьюнити, частью которого становятся наши студенты.
📅 Занятия стартуют 30 ноября и будут проходить в живом онлайн формате по вторникам и четвергам (19:30 - 21:30) на протяжении трёх месяцев (я читаю лекции онлайн вживую, проверяю домашние работы, даю фидбэк и менторю финальный проект).
Оплата возможна только с территории Украины. Для того чтобы попасть на курс, необходимо сдать тестовое задание.
До начала осталось меньше месяца!
👉 Записаться на мой курс
p.s.: персонаж-трансформер, как и все картинки на сайте полностью сгенерированы нейронными сетями
🥑 DALL-E ждали? Всем ruDALL-E!
Высшая точка генерации text2image: DALL-E. В отличие от CLIP + (VQGAN / Diffusion / StyleGAN3), модели DALL-E изначально созданы (а не приспособлены) для генерации изображений из текста, архитектурно являясь GPT.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до последовательности визуальных токенов (e.g.: 32x32). GPT теперь может работать как и текстовыми, так и с визуальными токенам. Это можно интерпретировать как последовательность, длинную строку.
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git 👾Online Demo
Высшая точка генерации text2image: DALL-E. В отличие от CLIP + (VQGAN / Diffusion / StyleGAN3), модели DALL-E изначально созданы (а не приспособлены) для генерации изображений из текста, архитектурно являясь GPT.
При обучении таких моделей большие изображения (256x256 или 512х512) сжимаются при помощи энкодеров dVAE или VQGAN до последовательности визуальных токенов (e.g.: 32x32). GPT теперь может работать как и текстовыми, так и с визуальными токенам. Это можно интерпретировать как последовательность, длинную строку.
Потом GPT-like архитектура принимает текстовое описание и учится генерировать эти визуальные токены, которые потом “проявляются” в высоком разрешении при помощи декодеров dVAE или VQGAN.
Запустить колаб и получить свою генерацию очень просто! Достаточно прейти по ссылке и, вписав что-то свое в поле текст (вместо text = 'изображение радуги на фоне ночного города’), выбрать Runtime -> Run all (среда выполнения -> выполнить все).
🔮colab 💻Git 👾Online Demo