Всем привет! Завтра не будет очной лекции. В качестве компенсации завтра или послезавтра мы выдадим новое домашнее задание.

Дедлайн по проверке Task-1 переносится на пятницу (20.03) 23:59 время московское. Если у вас не работают инвайты, прошу написать об этом в чате с указанием логина на гитхабе.

19 марта состоится семинар лаборатории нейронных систем и глубокого обучения, на котором руководитель лаборатории Михаил Бурцев кратко расскажет о проблемах нейросетевых архитектур, основанных на трансформерах (прежде всего BERT и его варианты), применительно к задаче языкового моделирования, и предложит направления исследований для преодоления этих проблем. Доклад будет особенно интересен тем, кто следит за тем, что происходит на переднем крае современного NLP, и что сейчас волнует ведущих исследователей. По итогам семинара заинтересовавшиеся слушатели смогут выбрать тему для своего NLP проекта.

Начало семинара 18.00.
Ссылка на видеотрансляцию будет доступна в канале за 15 минут до семинара.

Итак тема текущей недели CNN для НЛП. Лекция от Stanford дает хорошее введение https://www.youtube.com/watch?v=EAJoRA0KX7I

Далее переходим на ставшие уже классикой статьи
https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf
https://arxiv.org/abs/1702.01923
https://www.aclweb.org/anthology/D14-1181.pdf

Кроме того, пришло время для новой практической работы. Цель этого задания — поработать с языковыми моделями, а также выполнить текстовую классификацию с помощью RNN и с помощью CNN (тема текущей недели). Сделайте акцент на экспериментах: попробуйте улучшить модели в задании, пишите что у вас получилось, и что нет. Не откладывайте задание на последний день, приступите к нему как можно раньше.
https://classroom.github.com/a/d89zcsa_

Инвайты на проверку этого задания будут распределяться начиная с субботы 28.03 (выполнение все еще будет доступно).

Как вы знаете финальная и самая важная часть нашего курса это проекты. Мы делаем доступной форму для записи проектов. Предлагайте свои темы, не забывайте, что темы предложенные нами вы можете найти на страничке курса. Находите единомышленников в этом чате. Участники предыдущего запуска курса или ваши опытные товарищи могут стать менторами проекта. В команде должно быть достаточно участников чтобы раскрыть тему, однако не делайте команды слишком большими. Мы напоминаем, что в этом потоке мы открыли возможность заниматься одной темой нескольким командам. Некоторые проекты потенциально могут дотянуть либо до научной статьи, либо до компонента в библиотеку DeepPavlov (укажите в форме ваши цели). Прошу строго придерживаться формата записи в форме. Когда проект сформулирован, команда набрана и ментор найдет, отметьте yes в колонке Finalized. Для сформированных проектов будут созданы репозитории и команды на Гитхабе курса.

https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit?usp=sharing

Через несколько минут начнется лекция от Михаила Бурцева про языковое моделирование на трансформерах.
https://meet.google.com/cfc-wkha-ydb

Всем привет! Уже давно не было квизов, мы исправляем этот пробел https://forms.gle/1t7ErRHdVp9s9RcM6 Срок сдачи — до 9:00 следующего понедельника.
Также это повод прочитать ещё несколько статей (они могут пригодиться в следующем квизе):
1. Про посимвольные сети https://proceedings.mlr.press/v32/santos14.pdf (на мой субъективный взгляд, идеологически эта статья в десятке самых значимых за десятилетие).
2. Про разметку последовательностей (NER и морфологический анализ): https://arxiv.org/pdf/1603.01360.pdf, https://www.aclweb.org/anthology/E17-1048.pdf
3. Про свёрточные сети в классификации https://arxiv.org/pdf/1510.03820.pdf
4. Про интерпретируемость свёрточных сетей https://arxiv.org/pdf/1809.08037

Всем привет! В ближайшее время мы начнем распределять инвайты на проверку Task-2. Вы все еще можете продолжать работать над заданием вплоть до окончания этапа проверки, однако убедительная просьба обновить код в репозиториях.

Еще нам предстоит глобальная чистка репозиториев. В ближайшие дни будут удалены все пустые репозитории (участник принял работу, однако не оставил ни одного своего коммита). К владельцам полных репозиториев просьба почистить их от лишних файлов (датасетов, корпусов эмбедингов, бинарников моделей).

Всем привет! К этому моменту все инвайты на проверку Task-2 распределены, прошу принять их как можно скорее. Дедлайн для проверки 7.04 (вторник) 23.59 (время московское).

Во время проверки прошу руководствоваться уже ставшим классикой "FAQ по проверке"
https://docs.google.com/document/d/15GhxWhmzXx1HZt7-8jUPvOq68nHma7vU7__HGgpUxWk/edit?usp=sharing

Если вы не получили инвайты, однако считаете что должны были, прошу написать в чат с пометкой #вопрос_оргам с указанием логина на гитхабе.

Всем привет! Лекция Михаила Бурцева про языковые модели выложена на канале лабы.
https://youtu.be/tsaKVOjnMRU

Всем привет! Прошла вторая волна инвайтов, если вы не получили инвайт на почту, то проверьте нотификацию в гитхабе. Прошу внимательно отнестись к проверке, не копировать чужую оценку, возможно вы смотрите на разный код.

Для ориентира мы сделали две проверки публичными, вы можете найти их по адресу https://github.com/deep-nlp-spring-2020/

Мы все еще продолжаем борьбу с большими репозиториями, их владельцы получили сообщение в Issues с инструкциями для чистки.

Всем привет! После затянувшейся паузы мы переходим к новой теме курса, на этот раз это автоматический перевод и механизм внимания (attention), который используется отнюдь не только в переводе, но и в других задачах.

1. Лекция от cs224n https://youtu.be/XXtpJxZBa2c
2. Заметки к лекции https://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes06-NMT_seq2seq_attention.pdf
3. Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/pdf/1409.0473.pdf
4. Effective approaches to attention-based neural machine translation https://arxiv.org/pdf/1508.04025
5. Attention? Attention! by Lilian Weng https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html

Квиз по теме https://forms.gle/JhjVoztPWHAoNmkBA
Дедлайн до 15.04 23:59 время московское

Всем привет! Напоминаем вам про необходимость определиться с темой проекта. Для тех кто уже образовал команду мы создаем приватные репозитории и рассылаем приглашения. Кто еще не определился, могут черпать вдохновение из прошлых проектов Стенфорда. Если у вас есть идеи, что бы Вы хотели делать, не стесняйтесь писать их в таблице или организаторам курса.

https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit?usp=sharing

Всем привет! Сформированные команды для финального проекта получили приглашения в рпозитории. Если вы не получили приглашение, пожалуйста, напишите об этом в канале с пометкой #вопрос_оргам. Стал доступен проект по лекции Михаила Бурцева "The next generation of language models" (проект lm-transformer). Вписывайтесь в табличку.

Лекция: https://www.youtube.com/watch?v=tsaKVOjnMRU
Проекты: https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit#gid=0

Всем привет! Итак, разобравшись в attention, наша следующая тема transformer и контекстуальные векторные представления слов. Тема объемная и материала на эту неделю действительно много, хотя во многом информация повторяется. Рекомендуется изучать в приведенном порядке, хотя кому как удобно.

1. Часть лекции cs224n по Transformer и BERT https://youtu.be/S-CspeZ8FHc?t=2818
2. Illustrated Transformer jalammar.github.io/illustrated-transformer/
3. Короткое видео от Minsuk Heo по мотивам статьи от Jay Alammar https://youtu.be/z1xs9jdZnuY

Далее закрепим материал двумя лекциями

4. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
5. Attention is all you need; Attentional Neural Network Models by Łukasz Kaiser https://youtu.be/rBCqOTEfxvg

И финальный обзор

6. Michał Chromiak's blog The Transformer – Attention is all you need. https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/
7. Презентация от Ирины Хомченковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention%20Is%20All%20You%20Need.pdf

Всем привет! Тема текущей недели Берт.

Jay Alammar даст отличное введение https://jalammar.github.io/illustrated-bert/

Далее трудно найти что-то лучше, чем лекции от Chris McCormick. Можно смело смотреть все, что начинается на BERT Research. https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos

Оригинальная статья BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/pdf/1810.04805.pdf

Вспомогательный материал:

Как приготовить RuBERT https://arxiv.org/pdf/1905.07213.pdf
Препарация Берта от Елизаветы Корнаковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/BERT.pdf
И презентация от Михаила Архипова https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention.pdf

Всем привет! Новый квиз по темам Трансформеры и Берт.
Дедлайн до 5.05 23:59 (время московское).
Не затягивайте с выполнением, квиз получился объемным.

https://forms.gle/9NEzSdDap9z97tLw9

Всем привет! Это сообщение касается проектов. Если вам не создали репозиторий, или у вас другой вопрос прошу писать их в чате с пометкой #вопрос_оргам. Промежуточный этап для выполнения проектов 23.05. Просьба к студентам МФТИ к этой дате проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок.

Всем привет! Итак мы подошли к финальной части нашего курса. Наша последняя тема Transfer Learning, но перед этим, необходимо уделить особое внимание вопросно-ответным системам, а конкретнее, применение Берта к ним. Классическая статья про SQuAD сделает необходимое введение, а Chris McCormick расскажет о применении.

SQuAD: 100,000+ Questions for Machine Comprehension of Text
https://arxiv.org/abs/1606.05250

ChrisMcCormick: Applying BERT to Question Answering (SQuAD v1.1)
https://www.youtube.com/watch?v=l8ZYCvgGu0o

Далее отцы соврененного transfer learning расскажут что это такое (доклады во многом похожи)

Sebastian Ruder: Transfer Learning in Open-Source Natural Language Processing (spaCy IRL 2019)
https://www.youtube.com/watch?v=hNPwRPg9BrQ

Thomas Wolf: An Introduction to Transfer Learning and HuggingFace
https://www.youtube.com/watch?v=rEGB7-FlPRs

А статьи расскажут про текущие исследования в transfer learning

On the Cross-lingual Transferability of Monolingual Representations
https://arxiv.org/pdf/1910.11856.pdf

MAD-X: An Adapter-based Framework forMulti-task Cross-lingual Transfer
https://arxiv.org/pdf/2005.00052.pdf

Для последней темы квиза не будет, мы хотим чтобы вы максимально сосредоточились на проектах. Хочу еще раз подчеркнуть важность выполнения этапа до 23.05 (в особенности для студентов МФТИ). К этой дате необходимо проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок. Если у вас остались какие-либо вопросы прошу писать их в чате с пометкой #вопрос_оргам.

Всем привет! Сегодня в 18:30 по московскому времени пройдет открытый вебинар Михаил Бурцев (Mikhail Burtsev) на тему «Разговорный искусственный интеллект».
Благодаря революции глубокого обучения в области нейросетевых технологий, диалоговые системы в ближайшее время могут перейти на качественно новый уровень. На лекции «Разговорный искусственный интеллект» будут представлены последние достижения в этой области.🤩
Подключайтесь к https://youtu.be/tLfj3yKfGwk.