Data Blog
1.37K subscribers
99 photos
3 videos
4 files
166 links
Канал про интерпретируемость моделей и путь до phD, если автор не уйдет пасти овец.
Download Telegram
Вообще, думаю миксовать канал со всякими материалами и моими дата-похождениями, потому как мне очень важно куда-то инвестировать свои эмоции от второго, и потому как я не могу просто инвестировать эмоции в силу ценности вашего времени тут!

Надеюсь, вы не против.

Но ещё думаю — как видите, я явно немного «хаотик»))
🔥6👍2
Ну что, друзья, вы готовы к новой профессии?
Forwarded from DL in NLP (Vlad Lialin)
О скором релизе GPT-4

Тут какой-то менеджер в Microsoft Berlin на митапе сказал что на следующей неделе будет анонс модели. Это звучит очень круто и консистентно со слухами. Давайте суммаризируем что мы слышали о модели:

1. Выйдет в феврале (почти)
1. Такой же скачок в числе параметров как и GPT-2 к GPT-3 - trillion is the new billion
1. Sparse, скорее всего MoE
1. Такой же скачок в качестве как и GPT-2 к GPT-3
1. Мультимодальность: текст, картинки, аудио
1. Мультимодальность: протеины
1. Под мультимодальностью имеется в виду не только инпут, но и генерация
1. Обучали на 10-20 тысячах A100 в течении нескольких месяцев
1. Длина контекста: 32 тысячи токенов

Хайп по OpenAI лишь набирает обороты
Друзья! Может у кого-то из вас есть кто-то из СПБГУ, участвующий тут: https://cpsconf.ru/forauthors/ или кто-то из вас сам подает?

Я совсем запуталась с латех-шаблоном файла, у меня крокозябрская кодировка и я немного не понимаю, как же по итогу мне все прикреплять 🙏🏻🙈

UPD: употреблены все нервы, статья пока не подана 😅
👍1
Пока я страдаю со статьей, GPT-4 is coming!

https://openai.com/product/gpt-4

Надеюсь, эта фраза значит только то, что они придумали что-то радикально новое внутри модельки, а не что-то невкусное
Привет, друзья!

Здесь должен быть текст про мое мнение о GPT, но за прошедшие 4 дня мои мнительные процессы крутились только вокруг LaTeXа и тучи нервов.

Благодаря этому я узнала, что такое векторные и не векторные шрифты, как сделать себе классные подписи в matplotlib и даже (о боже!) как подтянуть туда LaTeX, чтобы аккуратно собирать графички в статьях.

Результат, которого бы не было без моего знакомого (век благодарить буду!) ➡️ тут.

В ноутбуке вы:

- повторите вид биномиального распределения случайной величины
- узнаете про латех в матплотлибе
- узнаете про векторные шрифты
- узнаете про формат eps

Спойлер на картинке :)
Видимо, потому что я хочу напечь пирожков

Чудесных вам выходных!
Ваш дата-автор =)
👏6👍21
Собрала немного полезных сайтов,
позволяющих визуально понимать происходящее в двух областях на "С"

В стастистике:

1️⃣. Seeing theory — визуализация статистических методов, от бразовой вероятности, до бутстрепа и регрессионного анализа

2️⃣. Distribution calculator — калькулятор вероятности выпадения определенных значений, в зависимости от типа распределения

В сверточных нейронных сетях:
и других красоток, кушающих картинки 🙂

1️⃣. Представление изображения в виде пикселей — для каждого из цветовых каналов. Помогает прочуствовать разницу в количестве цветовых каналов и в целом учить происходящее при представлении изображения в виде тензора

2️⃣. Онлайн-процесс обучения и инференса сверточной сети — для понимания происходящего в слоях пулинга, свертки, ответ на вопрос "что такое страйдинг" и визуальная теория сверточных сетей (мотайте сайт вниз)

и классика жанра...

3️⃣. tensorflow playground — для понимания как количество нейронов и слоев, а также скорость обучения влияют на отклик сети на данных.

Такое спонтанное  monday-включение)

Продуктивной недели, друзья!
Ваш дата-автор!
👍6
CV the main things in 2022 [1]


Привет друзья! Я что-то зачастила, но …)

У меня сегодня нет аж двух пар, поэтому я начала отсматривать записи конференции от Open.Talks AI, проходившей 6-7 марта в Ереване. Сегодня успела составить описание нескольких моделек, выделенных в докладе Алексея Досовицкого, (Google Brain).

Результатом делюсь. Если интересно (и как только я составлю), могу продолжить, я не разобрала я ещё не мало) Дайте знать огоньками какими-нибудь))

И так, главные архитектуры
Речь пойдет в целом о трансформерах, прикрученных к картинкам. С красивым результатах на эталонных датасетах etc.

1. Vision Transformer. От прямого — трансформер, которых можно знать по брето- или gpt-подобным моделям, прикрученный к картинкам. Его я бы выделила ключевым — на идее основано дальше много моделек.

Архитектура состоит из 3х компонентов:

1. Патчинг
2. Извлечение признаков с помощью энкодеров
3. Классификационная голова

Что такое Patch Embedding я тоже посчитала нужным привести — это в следующем посте.

Статья, моделька в huggifance

2. Swin Transformers v1 and v2 — продолжение работы над visual transformers. Устраняет недостатки архитектуры, предложенной здесь, такие как сложность и невозможность работы с изображениями высокого разрешения.

Кроме того:
у “свинов” небольшое отличие от ViT в формировании патчей
в свинах применяется механизм shifted attention, понижающий сложность обучения сети
в свинах несколько другие positional embedding-и

и V1 в v2 — улучшение производительности.

Обзор на Хабр, статья v1, v2, моделька в huggifance, гитхаб

3. ConvNext — архитектура-апгрейд дизайна в ResNet. Внутри множество небольших изменений, (каждое из которых приводит к небольшому улучшению), что дает семейство хорошо работающих сверточных сеток.

Статья, на хабре нашла только это, моделька в huggifance, моделька в торче

4. MaxVit — снова vizual transfromer, но гибрид — вместе со свертками и преобразованным механизмом внимания (multi-axis attention).

Статья, гитхаб, моделька в торче

5. Perceiver IO — первая сеть на базе Transformer, которая работает со всеми видами данных (текст, изображения, аудио, видео, ...) и их комбинациями.

Статья, моделька в huggifance

6. OWL-ViT — детектор объектов —принимает на вход изображение и произвольный текст и находит на изображении объекты, соответствующие запросу.

Статья, моделька в huggifance

Вот так вот друзья! И ещё разок — если интересно дайте знать огоньками какими-нибудь — как доделаю, остальное тоже попубликую)
🔥52
И про Patch Embedding.

Patch Embedding — преобразование картинки в матрицу признаков размерностью (n+1, d).

Simple описание преобразования (все цифры 1-7 на картинке 1:

1. Берем картинку (H, W, C) – высота, ширина, число каналов (1)
2. Режем её на N патчей (патч — квадрат меньшего размера), с размерностями (p, p, c), где p — сторона квадрата (2)
3. Эти патчи разглаживаем в вектор, выходит N векторов размерностью p*2xC (3)
4. Массив патчей, размерностью (N, p*2xC) умножается на обучаемый тензор
с размерностями (p*2xC, d) (4)
5. В результате получаем N патчей с размерностями (1, d) (5)
6. Добавляем [cls] токен, аналогичный BERT (картинка и интуитивный ответ тут, храни боже stack overflow) с размерностью (1, d), итого у нас вход – (N+1, d) (6)
6. К каждому патчу добавляем позиционный эмбеддинг с такой-же размерностью (1, d) (7)

Получаем z0 (картинка 2, 1) , вход, который далее проходит в слои энкодера (изучаем более абстрактные признаки в патчах) следующего вида (картинка 2, 2, 3):

MSA здесь multiheaded self-attention, слой же MLP — Multilayer perceptron c двумя слоями. Процесс совсем подробнее можно изучить в оригинале - статье, подробнее также про MSA в ViT описано здесь.
🔥3
Картинки 1, 2
CV the main things in 2022

Ну, а мы продолжим!
Вторая часть доклада была посвящена во-первых, задаче masked modeling — обучение, при котором мы учимся прогнозировать замаскированную часть входных данных (целевая переменная здесь — маска). Для картинок это значит, что мы пытаемся восстановить замаскированный патч.

Во-вторых, мультимодальным моделям.

Начнем с “во-первых”. Здесь автор выделил:

- фреймворк simMIM (simple mask image modeling), статья, гитхаб

- подход к обучению MAE + videoMAE (masked autoencoder) — во время обучения часть encoder-a получает только незамаскированные патчи,а декодер получает входные данные целиком, включающие замаскированные части (статья, объяснение на medium (simMIM + MAE), туториал на kaggle)

Статья видео, гитхаб видео

- Masked Feature Prediction — тотально элегантный метод претрайнинга, красиво вывозящий задачи video recognition. Авторы статьи тестировали несколько разных hand-crafting признаков, и оказалось, что претрейнинг модели на HOG (Histograms of Oriented Gradients) особенно хорош (а ещё как красив! Я аж прикрепила скрин (1) из статьи)

Статья, гитхаб (увы, совсем простой)


- BeiT v2 — моделька продолжение BeiT с новым подходом к токенизации — обогащение визуального трансформера семантическими токенами. Лучше других показала себя на ImageNet в задачах семантической сегментации и классификации. Статья, гитхаб


-EVA — даже не знаю, как эту модель описать. Масштабированный CLIP, переносимый на задачи классификации (images, video action), детекции, сегментациии и др (статья, гитхаб)


Справка: CLIP — подход к обучению, во время которого на input мы подаем image+text данные — чтобы построить мост между изображением и текстом

Освещение других работ, а также объяснение задачи masked image modelling в целом, я отыскала ещё здесь... И в этом блоке напоследок привожу


- MaskGIT — генеративочка! Причем склеенная с подходом использования масок для обучения и инференса. Много прикольных примеров, надо это стоит даже просто посмотреть — прикрепляю вам котика.

Статья, гитхаб

И пару-моделек с прикруткой трансформеров к задаче детекции с комбинацией описанных выше подходов:

vitDet (MAE-based) (статья, гитхаб) и viLD — open vocabularary detecor — детектор, поддерживающий произвольные текстовые запросы, как OWL-ViT выше (статья)

Плюс фреймворк pix2seq — Pix2Seq casts object detection as a language modeling task conditioned on the observed pixel inputs — интересный подход к формулировке задаче детекции (статья, гитхаб — фреймворк дорабатывается до multi-task формата)
🔥2
И, ура! (Вы ещё читаете? Я вас люблю) Переходим к “во-вторых” — мультимодальности моделек.

Начем с модальности image+text

visual question-answering + captioning tasks + multiple-choice visual question-answering = flamingo (статья, гитхаб)

visual recognition + crossmodal retrieval +multimodal understanding+ image captioning = CoCa (статья, гитхаб)

image captioning+visual question- answering + scene-text understanding = PaLI (статья)


Дальше — универсализация сегментаций в виде Mask2former – архитектуры. Справляется с задачами panoptic, instance or semantic segmentation (статья, гитхаб)

Кстати, с серией про сегментацию была затронута модификация лосса PACL (статья).

UViM — универсализация для задач компьютерного зрения, показавшая state-of-the-art эффективность на panoptic segmentation, depth prediction and image colorization (статья)

И самое вкусное:

-Unified-IO — модель, употребившая в себя универсальность для всего — от classical computer vision ( object detection, segmentation, and depth estimation), до image synthesis ( image generation and image in-painting), vision-and-language (like visual question answering, image captioning, and referring expression) и NLP (such as question answering and paraphrasing). Статья тут, демо тут.

И напоследок про все эти мультимодальности:

- data2vec — фреймворк, с заявкой на обобщение обучения в режиме self-supervised для данных разных модальностей — звук, изображения, аудио. Внутри трансформеры и masking.

Статья, гитхаб, huggifance

(Много и)...

Также докладчик затронул Plenoxels и Decomposing NeRF for Editing via Feature Field Distillation. Если вам близка тема зрения очень — можете глянуть, я пока разбираться не лезла.
🔥2
HOG (masked feature prediction) и обещанный котик 💙
А теперь — вы видите многобукв и боитесь читать. Что делать?

Первое — краткое содержание. 2022 правят visual transformers and multimodal architectures.

Второе. Что с этим текстом делать.

Вся эта информация является просто ознакомительной. Серьезно. Даже беглого взгляда достаточно, чтобы втянуться и просто знать, чего вышло в 2022, а потом, если вдруг понадобится — знать куда копать. Не нужно открывать статьи даже, моя цель с ними — сделать удобную базу "на почитать".

Я искренне плевалась, разбирая кучу статей и делая выжимки и чувствовала себя примерно тупой отставшей и всегда удивленной. Однако я получила кучу удовольсвия и новых знаний.

Вам предлагаю тот же подход!)

Буду рада услышать обратную связь и увидеть огонечки — в моих планах организовать подобное на NLP и обучение с подкреплением.

С любовью,
Ваш дата-автор 😌
👍5🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Друзья! Начала готовить “главные вещи в NLP” — не могу не поделиться кусочком конференции — такой уж он жизненный))

Лектор-докладчик — Михаил Бурцев. Безумно крут — по его лекциям можно расти не только теоретически, но и с точки зрения подачи материала. 🥹🤌🏼

Спойлер: нет, главные вещи — это не только про GPT!) Хотя GPT-шки — некоторый центр.

Постараюсь на этой неделе подговить и NLP, и Reinforcement Learning, но «постараюсь» тут, конечно, важное слово.

Добрых ночи, дня и любого времени!
Ваш Дата-автор.
🔥51👍1
Быстрое включение:

Я сейчас просто ору от счастья — маме поорала, подруге поорала и сюда тоже поору — еду на конференцию в СПБГУ с докладом прости господи! 🥹🤌🏼
👍8🔥5🎉21🤮1