Всем привет!

Очередной семинар состоится 17 сентября в 19-00.

Тема семинара: "Machine Reading Comprehension and Russian Language"

Аннотация: First, I will briefly survey machine reading comprehension (RC) and its flavors, as well as methods and datasets used to leverage the task. Then I will focus on RC datasets for non-English languages.

I will pay special attention to Russian RC dataset — Sberbank Question Answering Dataset (SberQuAD). SberQuAD has been widely used since its inception in 2017, but it hasn't been described and analyzed properly in the literature until recently. In my presentation, I will provide a thorough analysis of SberQuAD and report several baselines.

О докладчике: Pavel Efimov earned his Master degree in Computer Science at Saint Petersburg State University. Now he is a PhD student at ITMO University. His research interests include question answering, multilingual learning, and learning with limited labelled data.

Форма регистрации: https://cs.hse.ru/ai/computational-pragmatics/announcements/399072143.html

Алгоритм регистрации: надо заполнить форму, ближе к семинару вам придет письмо с ссылкой на zoom и паролем.

Язык: английиский, запись будет в открытом доступе.

Анонсы семинаров по NLP в ВШЭ: https://t.iss.one/nlp_seminar

Catalyst запускает курс по диплёрнингу. CV, NLP, RecSys, 12-14 недель, Stepik, #dl-course-2020
Первая неделя будет доступна уже завтра.

I am thrilled to announce, that we are starting a Deep Learning course on Catalyst in collaboration with our academia (https://dlschool.org) and industry (https://tinkoff.ru/) friends!

For more information, please follow the link below,
https://vk.com/@dlschool_mipt-kurs-deep-learning-na-catalyst

Efficient Transformers: A Survey
Tay et al. [Google Research]
arxiv.org/abs/2009.06732

За прошлые два года число различных модификаций трансформера резко выросло. В частности была куча статей, которые пытаются адаптировать трансформеры для длинных текстов: reformer, longformer, linformer, ...

Google Research решил сделать небольшую статью с обзором этих X-former. Они суммаризируют, что изначально люди активно занимались фиксированными паттернами atttention (Sparse Transformer et al.), потом начали заниматься факторизацией этих паттернов (Axial transformer et al.) и постепенно сдвинулись в хитрые тренируемые паттерны (Reformer et al.). Сейчас же появляется всё больше работ, в которых пытаются использовать ризкоранговую аппроксимацию матриц attention (Linformer).
В параллель к этому появилось пара реккурентрых подходов удлинения трансформеров - Transformer-XL и Compressive Transformer.

Как всегда в таких обзорах, они заканчиваются тем, что нету никакого стандартного метода сравнения методов друг с другом, кто-то использует генеративные задачи (LM), кто-то GLUE и что в конце-концов не ясно какой подход работает лучше остальных.

Мне из статьи очень понравилась вот эта картинка, которая хорошо суммаризирует основные подходы.

Replika на Data Fest 2020

На этих выходных проходил Data Fest 2020 и одним из самых классных выступлений в секции #nlp было выступление о том, как сделана Replika. Они делают чатбота, который просто разговаривает с вами и может поднять вам настроение, помочь справиться с стрессом. И работает бот довольно классно.

Теперь о том, как он сделан. Если коротко: ранжирование на берте + генерация на GPT-3 (Replika одной из первых получила доступ к OpenAI API) + очень много всего остального включая CV модельки и AR. Подробнее можете посмотреть в записи доклада или, если совсем нет времени, просмотреть слайды.

А если хотите сами поговорить с ботом, то можете скачать их приложение.

Understanding the Difficulty of Training Transformers
Liu et al. [Microsoft]
arxiv.org/abs/2004.08249

Всё больше статей про анализ трансформеров, мне нравится эта тенденция.
В этой статье рассказывают про два интересных момента.

1. Вроде бы трансформеры не страдают от gradient vanishing/explosion, скорее всего благодаря residual connections (см. картинку)
2. Из-за этих же redidual connections трансформеры могут быт очень неустойчивы по параметрам. То есть небольшое изменение параметров может вызывать большое изменение предсказаний трансформера. Авторы называют это amplificaiton effect и показывают, что он сильно мешает обучению.

Также в статье предлагается хитрый способ инициализации (Admin), чтобы уменьшить amplification effect в начале обучения. Этот метод позволяет улучшить финальное качество модельки и тренировать более глубокие сети.
Статья читается не очень легко, но наверняка если закопаться поглубже можно найти ещё пару интересных вещей.

A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation
Shen et al. [Microsoft]
arxiv.org/abs/2009.13818

В NLP аугментации как-то до сих пор не заходят, я виню в этом людей, которые считают, что аугментированные тексты должны быть грамматически корректными. Но Shen et. al решили что это bs и попробовали следующее. Возьмём входные в BERT эмбеддинги, матричку размера seq_len x emb_dim и будем случайно занулять в ней (вектора целых слов) или строки (фичи). В качестве третьего подходя предлогают занулять несколько последовательно идущих слов. Идея мега простая, однако в среднем этот метод добавляет примерно 0.5 пункта на GLUE. В случае маленького датасета RTE аугментации улучили 78.7 до 82.3, что очень заметно. И главное, почти бесплатно.

Теперь немного про подробности. В отличие от обычных аугментаций в CV в этой статье использовали несколько аугментаций каждого примера внутри батча. То есть у вас есть K примеров на входе, вы аугментируете их каждый N раз и получаете батч размера K*N, который вы и прогоняете через вашу нейросетку. Плюс к этому ауторы добавили регуляризатор, который заставлял модель предсказывать одинаковые распределения у различных аугментаций одного и того же примера (но судя по ablation studies эта штука очень мало докидывает).

It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
Schick and Schütze, [LMU Munich]
arxiv.org/abs/2009.07118

🔥статья. Идея довольно простая: что если мы попробуем использовать языковые модели для few-shot learning более изощрённым образом? Авторы GPT-3 предлагали делать следующее: подавать несколько примеров в максимально простом виде вопрос1-ответ1 вопрос2-ответ2 вопрос3- и вот "ответ3" и должна была сгенерить LM. Очень просто и красиво, но наверняка неэффективно;

Авторы этой статьи предлагают многоступенчатый подход:
1. Под нашу задачку мы составляем несколько pattern-verbalizer pairs. Паттерн это по сути какой-то вопрос, а verbalizer - это ограниченный сет ответов на этот вопрос (e.g. yes/no). Например под задачу entailment паттерн может быть <sentence1>? \[MASK], <sentence2>, а в качестве verbalizer класс entailment мапится на yes, а not-entailment мапится на no (пример на картинке). MLM выдаёт вам вероятности слов на месте [MASK] и вы сравниваете вероятность слов yes и no.
2. Дальше мы используя размеченные примеры и составленные патерны файнтюним MLM. А точнее даже несколько MLM, чтобы потом составить ансамбль.
3. Проводим дистилляцию этого ансамбля на soft лейблах (вероятностях, а не классах). Получаем перфоманс сопоставимый с самым большим GPT-3 🦾

От себя хочу добавить идеологических отличий от GPT:
1. Надо обучать модельку (даже несколько моделек)
1. Есть ручная работа по созданию PVP pairs
1. Нужны дополнительные тексты на которых вы будете дисстилировать

Но несмотря на это, подход кажется очень рабочим и применимым в реальных задачах. Советую почитать статью подробнее, там должно быть много дополнительных интересных деталей.

​​Посмотрел в свои сохранённые сообщения и оказалось, что есть много интересного. Поэтому одной стокой.

NLP:
1. The ultimate guide to encoder-decoder models (part1, part2, part3, part4)
1. Миникурс по вариационному выводу в NLP от Wilker Aziz
1. Long Range Arena : A Benchmark for Efficient Transformers - статья, где сравнивают между собой длинные трансформеры (спойлер: используйте Big Bird если не важна скорость и Performer если важна, не используйте Reformer вообще)
1. Nearest Neighbor Machine Translation - +2 BLEU почти бесплатно к вашей уже натренированной модели. Вы предварительно создаёте базу переводов (на основе вашего тренировочного сета) и примешиваете её хиддены к своим во время инференса.
1. RL + NLP + текстовые игры = ❤️, в статье учили бота, обусловленного некой мотивацией, заданной описанием персоны, проходить квесты
1. Multi-Modal Open-Domain Dialogue - статья от группы Jason Weston в FAIR в которой фьюзят огромные языковые модели и Faster R-CNN. Очень подробно описано как тестировали модель, что очень сложно в диалоговых задачах.

not NLP:
1. Вышла новая версия курса по RL от Thomas Simonini, теперь есть более весёлые environment'ы на Unity и UE4
1. Как делать ограничения на параметры в вашей моделе на торче (вдруг вы заходите, чтобы ваши матрицы были строго положительными). Чтение поста гарантирует улучшение вашего скила на pytorch (или нет)
1. An Image is Worth 16x16 Words - Полностью трансформерная сетка для computer vision (совсем без свёрток), которая не только работает лучше, но и тренируется в 5 раз быстрее

​​Хайп уходит, все по домам

Хороший и объемный туториал по файнтюнингу моделек в NLP.

• Loading data, single or multiple files, csv, txt or dataframes, train/test splits
• Processing data with 11 text processing functions
• Tokenizing data for use with MobileBERT
• Saving processed data to disk
• Datasets tips and tricks along the way

Comprehensive Language Model Fine Tuning

Firing a cannon at sparrows: BERT vs. logreg (DataFest 2020)

Презентация от Юры Кашницкого по BERT и тому как использовать его с Catalyst. А так же о том, что логрег всё ещё тащит для простых задач классификации.

Рубрика «Читаем статьи за вас». Июль — август 2020 года

Статьи из подборки:

1 High-Resolution Neural Face Swapping for Visual Effects
2. Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
3. Thieves on Sesame Street! Model Extraction of BERT-based APIs
4. Time-Aware User Embeddings as a Service
5. Are Labels Necessary for Neural Architecture Search?
6. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
7. Data Shapley: Equitable Valuation of Data for Machine Learning
8. Language-agnostic BERT Sentence Embedding
9. Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
10. Batch-Channel Normalization and Weight Standardization

​​Возможно, лучшая визуализация того, как работает трансформер. Во всех примерах визуализировано в том числе и батч-измерение. И ноутбучек прилагается.

https://github.com/mertensu/transformer-tutorial