Всем привет! Лекция Михаила Бурцева про языковые модели выложена на канале лабы.
https://youtu.be/tsaKVOjnMRU

Всем привет! Прошла вторая волна инвайтов, если вы не получили инвайт на почту, то проверьте нотификацию в гитхабе. Прошу внимательно отнестись к проверке, не копировать чужую оценку, возможно вы смотрите на разный код.

Для ориентира мы сделали две проверки публичными, вы можете найти их по адресу https://github.com/deep-nlp-spring-2020/

Мы все еще продолжаем борьбу с большими репозиториями, их владельцы получили сообщение в Issues с инструкциями для чистки.

Всем привет! После затянувшейся паузы мы переходим к новой теме курса, на этот раз это автоматический перевод и механизм внимания (attention), который используется отнюдь не только в переводе, но и в других задачах.

1. Лекция от cs224n https://youtu.be/XXtpJxZBa2c
2. Заметки к лекции https://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes06-NMT_seq2seq_attention.pdf
3. Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/pdf/1409.0473.pdf
4. Effective approaches to attention-based neural machine translation https://arxiv.org/pdf/1508.04025
5. Attention? Attention! by Lilian Weng https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html

Квиз по теме https://forms.gle/JhjVoztPWHAoNmkBA
Дедлайн до 15.04 23:59 время московское

Всем привет! Напоминаем вам про необходимость определиться с темой проекта. Для тех кто уже образовал команду мы создаем приватные репозитории и рассылаем приглашения. Кто еще не определился, могут черпать вдохновение из прошлых проектов Стенфорда. Если у вас есть идеи, что бы Вы хотели делать, не стесняйтесь писать их в таблице или организаторам курса.

https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit?usp=sharing

Всем привет! Сформированные команды для финального проекта получили приглашения в рпозитории. Если вы не получили приглашение, пожалуйста, напишите об этом в канале с пометкой #вопрос_оргам. Стал доступен проект по лекции Михаила Бурцева "The next generation of language models" (проект lm-transformer). Вписывайтесь в табличку.

Лекция: https://www.youtube.com/watch?v=tsaKVOjnMRU
Проекты: https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit#gid=0

Всем привет! Итак, разобравшись в attention, наша следующая тема transformer и контекстуальные векторные представления слов. Тема объемная и материала на эту неделю действительно много, хотя во многом информация повторяется. Рекомендуется изучать в приведенном порядке, хотя кому как удобно.

1. Часть лекции cs224n по Transformer и BERT https://youtu.be/S-CspeZ8FHc?t=2818
2. Illustrated Transformer jalammar.github.io/illustrated-transformer/
3. Короткое видео от Minsuk Heo по мотивам статьи от Jay Alammar https://youtu.be/z1xs9jdZnuY

Далее закрепим материал двумя лекциями

4. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
5. Attention is all you need; Attentional Neural Network Models by Łukasz Kaiser https://youtu.be/rBCqOTEfxvg

И финальный обзор

6. Michał Chromiak's blog The Transformer – Attention is all you need. https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/
7. Презентация от Ирины Хомченковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention%20Is%20All%20You%20Need.pdf

Всем привет! Тема текущей недели Берт.

Jay Alammar даст отличное введение https://jalammar.github.io/illustrated-bert/

Далее трудно найти что-то лучше, чем лекции от Chris McCormick. Можно смело смотреть все, что начинается на BERT Research. https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos

Оригинальная статья BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/pdf/1810.04805.pdf

Вспомогательный материал:

Как приготовить RuBERT https://arxiv.org/pdf/1905.07213.pdf
Препарация Берта от Елизаветы Корнаковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/BERT.pdf
И презентация от Михаила Архипова https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention.pdf

Всем привет! Новый квиз по темам Трансформеры и Берт.
Дедлайн до 5.05 23:59 (время московское).
Не затягивайте с выполнением, квиз получился объемным.

https://forms.gle/9NEzSdDap9z97tLw9

Всем привет! Это сообщение касается проектов. Если вам не создали репозиторий, или у вас другой вопрос прошу писать их в чате с пометкой #вопрос_оргам. Промежуточный этап для выполнения проектов 23.05. Просьба к студентам МФТИ к этой дате проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок.

Всем привет! Итак мы подошли к финальной части нашего курса. Наша последняя тема Transfer Learning, но перед этим, необходимо уделить особое внимание вопросно-ответным системам, а конкретнее, применение Берта к ним. Классическая статья про SQuAD сделает необходимое введение, а Chris McCormick расскажет о применении.

SQuAD: 100,000+ Questions for Machine Comprehension of Text
https://arxiv.org/abs/1606.05250

ChrisMcCormick: Applying BERT to Question Answering (SQuAD v1.1)
https://www.youtube.com/watch?v=l8ZYCvgGu0o

Далее отцы соврененного transfer learning расскажут что это такое (доклады во многом похожи)

Sebastian Ruder: Transfer Learning in Open-Source Natural Language Processing (spaCy IRL 2019)
https://www.youtube.com/watch?v=hNPwRPg9BrQ

Thomas Wolf: An Introduction to Transfer Learning and HuggingFace
https://www.youtube.com/watch?v=rEGB7-FlPRs

А статьи расскажут про текущие исследования в transfer learning

On the Cross-lingual Transferability of Monolingual Representations
https://arxiv.org/pdf/1910.11856.pdf

MAD-X: An Adapter-based Framework forMulti-task Cross-lingual Transfer
https://arxiv.org/pdf/2005.00052.pdf

Для последней темы квиза не будет, мы хотим чтобы вы максимально сосредоточились на проектах. Хочу еще раз подчеркнуть важность выполнения этапа до 23.05 (в особенности для студентов МФТИ). К этой дате необходимо проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок. Если у вас остались какие-либо вопросы прошу писать их в чате с пометкой #вопрос_оргам.

Всем привет! Сегодня в 18:30 по московскому времени пройдет открытый вебинар Михаил Бурцев (Mikhail Burtsev) на тему «Разговорный искусственный интеллект».
Благодаря революции глубокого обучения в области нейросетевых технологий, диалоговые системы в ближайшее время могут перейти на качественно новый уровень. На лекции «Разговорный искусственный интеллект» будут представлены последние достижения в этой области.🤩
Подключайтесь к https://youtu.be/tLfj3yKfGwk.

Всем привет!
Сегодня с 14:00 до 16:00 по Москве будет проводится национальная секция CEE (Центральной и Восточной Европы) в рамках #MSBuild2020, на которой можно послушать про обучение BERT с помощью #DeepPavlov и #AzureML (доклад Дмитрия Сошникова). Присоединяйтесь https://mybuild.microsoft.com/sessions/5b5d0606-b6be-4df9-a2ed-7d5ca870ccd9?fbclid=IwAR1odFsFc8WHzMT_COjPC8s1gIFaDAnp9K209EWK2V1is1hleuQFImL3urQ

Всем привет! Хочу ответить на многочисленные вопросы по поводу промежуточного дедлайна. На данном этапе требуется лишь обновить код в репозиториях и написать небольшой отчет что было сделано и какие результаты достигнуты (каждый участник пишет в отдельном файле про свою часть, разумеется файл помещается в репозиторий). Далее продолжаем работать над проектами. Про финальную форму отчетности будет сообщение позднее. Студентам МФТИ будет выставлена оценка на основе этих промежуточных результатов.

Всем привет! Просьба ко всем участникам курса описать проекты в README.md репозиториев: описать постановку задачи, baseline + статьи, используемые датасеты, текущие метрики, вклад каждого участника и результаты, дальнейшие планы и собственные выводы.

Дополнительная просьба заполнить форму уточнения записи https://forms.gle/w6bY4SSJSEVdaU556

Уважаемые участники курса, просьба записаться в форму и обновить код проекта в репозиториях как можно скорее. Выдача сертификатов будет проходить строго по этой форме. Оценки студентам МФТИ уже сформированы на основе квизов, домашних работ и проектов и будут разосланы и проставлены в ближайшие часы.

https://forms.gle/w6bY4SSJSEVdaU556

Всем привет! Кто участвовал в соревнованиях Kaggle прошу поделиться в канале своим опытом, какие подходы работали, какие не очень, и какое в итоге место. Если вы обновили репозиторий — зарегистрируйтесь в форме для получения сертификата.

https://forms.gle/w6bY4SSJSEVdaU556

Всем привет!
Сегодня в 19:30, в zoom состоится заключительный семинар курса "DL in NLP", на котором выступят участники курса с докладами по своим проектам.
Должно быть очень интересно, не пропустите!
Ссылку на трансляцию выложим перед началом.
Запись будет!

Порядок выступлений следующий:

Роман Щекин
Денис Грушенцев
Максим Талиманчук
Multilingual Toxic Comment Classification
--
Никита Балаганский
On Bert Distillation
--
Юрий Зеленский
Open Data Science Question Answering
--
Дмитрий Бунин
Russian Aspect-Based Sentiment Analysis
--
Кирилл Герасимов
Tweet Sentiment Extraction
--
Михаил Тетерин
Леонид Морозов
Автоматическое решение ЕГЭ

Ссылка на трансляцию:
https://zoom.us/j/99943908077?pwd=OHdjaGdQbE5EK0JyKzRzS2Z5eXVDZz09

Всех приглашаем сейчас на семинар!

RuBQ: A Russian Dataset for Question Answering over Wikidata
Vladislav Korablinov, Pavel Braslavski

https://us02web.zoom.us/j/82065813002?pwd=U0R6S1AvVXNJSGY1UFVHRXFYWGh3dz09