Всем привет! Сформированные команды для финального проекта получили приглашения в рпозитории. Если вы не получили приглашение, пожалуйста, напишите об этом в канале с пометкой #вопрос_оргам. Стал доступен проект по лекции Михаила Бурцева "The next generation of language models" (проект lm-transformer). Вписывайтесь в табличку.

Лекция: https://www.youtube.com/watch?v=tsaKVOjnMRU
Проекты: https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit#gid=0

Всем привет! Итак, разобравшись в attention, наша следующая тема transformer и контекстуальные векторные представления слов. Тема объемная и материала на эту неделю действительно много, хотя во многом информация повторяется. Рекомендуется изучать в приведенном порядке, хотя кому как удобно.

1. Часть лекции cs224n по Transformer и BERT https://youtu.be/S-CspeZ8FHc?t=2818
2. Illustrated Transformer jalammar.github.io/illustrated-transformer/
3. Короткое видео от Minsuk Heo по мотивам статьи от Jay Alammar https://youtu.be/z1xs9jdZnuY

Далее закрепим материал двумя лекциями

4. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
5. Attention is all you need; Attentional Neural Network Models by Łukasz Kaiser https://youtu.be/rBCqOTEfxvg

И финальный обзор

6. Michał Chromiak's blog The Transformer – Attention is all you need. https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/
7. Презентация от Ирины Хомченковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention%20Is%20All%20You%20Need.pdf

Всем привет! Тема текущей недели Берт.

Jay Alammar даст отличное введение https://jalammar.github.io/illustrated-bert/

Далее трудно найти что-то лучше, чем лекции от Chris McCormick. Можно смело смотреть все, что начинается на BERT Research. https://www.youtube.com/channel/UCoRX98PLOsaN8PtekB9kWrw/videos

Оригинальная статья BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/pdf/1810.04805.pdf

Вспомогательный материал:

Как приготовить RuBERT https://arxiv.org/pdf/1905.07213.pdf
Препарация Берта от Елизаветы Корнаковой https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/BERT.pdf
И презентация от Михаила Архипова https://github.com/deep-nlp-spring-2020/deep-nlp/raw/master/Attention.pdf

Всем привет! Новый квиз по темам Трансформеры и Берт.
Дедлайн до 5.05 23:59 (время московское).
Не затягивайте с выполнением, квиз получился объемным.

https://forms.gle/9NEzSdDap9z97tLw9

Всем привет! Это сообщение касается проектов. Если вам не создали репозиторий, или у вас другой вопрос прошу писать их в чате с пометкой #вопрос_оргам. Промежуточный этап для выполнения проектов 23.05. Просьба к студентам МФТИ к этой дате проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок.

Всем привет! Итак мы подошли к финальной части нашего курса. Наша последняя тема Transfer Learning, но перед этим, необходимо уделить особое внимание вопросно-ответным системам, а конкретнее, применение Берта к ним. Классическая статья про SQuAD сделает необходимое введение, а Chris McCormick расскажет о применении.

SQuAD: 100,000+ Questions for Machine Comprehension of Text
https://arxiv.org/abs/1606.05250

ChrisMcCormick: Applying BERT to Question Answering (SQuAD v1.1)
https://www.youtube.com/watch?v=l8ZYCvgGu0o

Далее отцы соврененного transfer learning расскажут что это такое (доклады во многом похожи)

Sebastian Ruder: Transfer Learning in Open-Source Natural Language Processing (spaCy IRL 2019)
https://www.youtube.com/watch?v=hNPwRPg9BrQ

Thomas Wolf: An Introduction to Transfer Learning and HuggingFace
https://www.youtube.com/watch?v=rEGB7-FlPRs

А статьи расскажут про текущие исследования в transfer learning

On the Cross-lingual Transferability of Monolingual Representations
https://arxiv.org/pdf/1910.11856.pdf

MAD-X: An Adapter-based Framework forMulti-task Cross-lingual Transfer
https://arxiv.org/pdf/2005.00052.pdf

Для последней темы квиза не будет, мы хотим чтобы вы максимально сосредоточились на проектах. Хочу еще раз подчеркнуть важность выполнения этапа до 23.05 (в особенности для студентов МФТИ). К этой дате необходимо проделать объем работ, который возможно оценить, это нужно, чтобы выставить оценки в срок. Если у вас остались какие-либо вопросы прошу писать их в чате с пометкой #вопрос_оргам.

Всем привет! Сегодня в 18:30 по московскому времени пройдет открытый вебинар Михаил Бурцев (Mikhail Burtsev) на тему «Разговорный искусственный интеллект».
Благодаря революции глубокого обучения в области нейросетевых технологий, диалоговые системы в ближайшее время могут перейти на качественно новый уровень. На лекции «Разговорный искусственный интеллект» будут представлены последние достижения в этой области.🤩
Подключайтесь к https://youtu.be/tLfj3yKfGwk.

Всем привет!
Сегодня с 14:00 до 16:00 по Москве будет проводится национальная секция CEE (Центральной и Восточной Европы) в рамках #MSBuild2020, на которой можно послушать про обучение BERT с помощью #DeepPavlov и #AzureML (доклад Дмитрия Сошникова). Присоединяйтесь https://mybuild.microsoft.com/sessions/5b5d0606-b6be-4df9-a2ed-7d5ca870ccd9?fbclid=IwAR1odFsFc8WHzMT_COjPC8s1gIFaDAnp9K209EWK2V1is1hleuQFImL3urQ

Всем привет! Хочу ответить на многочисленные вопросы по поводу промежуточного дедлайна. На данном этапе требуется лишь обновить код в репозиториях и написать небольшой отчет что было сделано и какие результаты достигнуты (каждый участник пишет в отдельном файле про свою часть, разумеется файл помещается в репозиторий). Далее продолжаем работать над проектами. Про финальную форму отчетности будет сообщение позднее. Студентам МФТИ будет выставлена оценка на основе этих промежуточных результатов.

Всем привет! Просьба ко всем участникам курса описать проекты в README.md репозиториев: описать постановку задачи, baseline + статьи, используемые датасеты, текущие метрики, вклад каждого участника и результаты, дальнейшие планы и собственные выводы.

Дополнительная просьба заполнить форму уточнения записи https://forms.gle/w6bY4SSJSEVdaU556

Уважаемые участники курса, просьба записаться в форму и обновить код проекта в репозиториях как можно скорее. Выдача сертификатов будет проходить строго по этой форме. Оценки студентам МФТИ уже сформированы на основе квизов, домашних работ и проектов и будут разосланы и проставлены в ближайшие часы.

https://forms.gle/w6bY4SSJSEVdaU556

Всем привет! Кто участвовал в соревнованиях Kaggle прошу поделиться в канале своим опытом, какие подходы работали, какие не очень, и какое в итоге место. Если вы обновили репозиторий — зарегистрируйтесь в форме для получения сертификата.

https://forms.gle/w6bY4SSJSEVdaU556

Всем привет!
Сегодня в 19:30, в zoom состоится заключительный семинар курса "DL in NLP", на котором выступят участники курса с докладами по своим проектам.
Должно быть очень интересно, не пропустите!
Ссылку на трансляцию выложим перед началом.
Запись будет!

Порядок выступлений следующий:

Роман Щекин
Денис Грушенцев
Максим Талиманчук
Multilingual Toxic Comment Classification
--
Никита Балаганский
On Bert Distillation
--
Юрий Зеленский
Open Data Science Question Answering
--
Дмитрий Бунин
Russian Aspect-Based Sentiment Analysis
--
Кирилл Герасимов
Tweet Sentiment Extraction
--
Михаил Тетерин
Леонид Морозов
Автоматическое решение ЕГЭ

Ссылка на трансляцию:
https://zoom.us/j/99943908077?pwd=OHdjaGdQbE5EK0JyKzRzS2Z5eXVDZz09

Всех приглашаем сейчас на семинар!

RuBQ: A Russian Dataset for Question Answering over Wikidata
Vladislav Korablinov, Pavel Braslavski

https://us02web.zoom.us/j/82065813002?pwd=U0R6S1AvVXNJSGY1UFVHRXFYWGh3dz09

Завтра в 18:00 руководитель проекта DeepPavlov Михаил Бурцев проведет семинар, на котором расскажет про эксперименты с Memory Transformer.

Memory Transformer
Mikhail S. Burtsev, Grigory V. Sapunov
https://arxiv.org/abs/2006.11527

Ссылку на zoom дадим перед началом семинара. Рабочий язык - английский.

Ссылка для подключения к семинару сегодня -
Join Zoom Meeting
https://us02web.zoom.us/j/85908125548?pwd=cElQQ2VDYi8rNTZPa25OQ3ZEcTZKZz09

Meeting ID: 859 0812 5548
Passcode: 219238

Пропустили итоговый семинар, на котором выступали участники курса с докладами по своим проектам?
Мы подготовили короткий обзор, с которым вы можете ознакомиться на Хабр.
https://habr.com/ru/company/ods/blog/514072/

Всем привет!
Как вы могли знать, команда лаборатории участвовала в конкурсе Amazon Alexa Prize. Сейчас мы готовим аналог SocialBot только со своими графами, классификаторами и т.д. и приглашаем вас пообщаться с нашим ботом. Мы очень хотим услышать 🙏 вашу обратную связь.
Тестировать можно через Telegram или beta website. А оставить фидбек можно в канале private discussion group. Нам важен каждый диалог 🙏

P.s пожалуйста, не делитесь ни с кем ссылкой, потому что это пока бета-релиз.