Всем привет! К сожалению, я немного приболел, поэтому семинар сегодня (25.02) не состоится. Немного погодя вышлю новый материал и квиз. Доступен в чате.

Выкладываю материал на следующий семинар. Заключительная лекция от cs231n по введению в NN
https://www.youtube.com/watch?v=hd_KFJ5ktUc

и заметки к лекции
https://cs231n.github.io/neural-networks-3/

квиз будет немного позднее

Всем привет! Квиз на следующий семинар
https://forms.gle/8LTj7KZ3dZpxVF718

Всем привет! Если ваши инвайты на проверку задания Task-0 более не работают и новых вы не получали, прошу написать на @letmypeoplego ваш гитхаб аккаунт.

Всех приветствую! Итак мы переходим к новой теме: Языковые модели и RNN.

Лекция по теме от неподражаемой Abigail See
https://youtu.be/iWea12EAu6U

и заметки к лекции
https://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes05-LM_RNN.pdf

Квиз будет немного позднее.

Всем привет, чтобы приступить к проверке Task-1 необходимо закончить с проверкой Task-0. Дедлайн проверки Task-0 пятница (6 марта) 23.59 московское время.

По проверке мы будем придерживаться принципа "у того кто не проверил назначенные ему чужие работы не будут проверяться текущие работы" (но они все еще смогут выполнять задания для себя в своем темпе).

Если у вас нет или не работают инвайты на проверку Task-0 пожалуйста отправьте свой гитхаб логин. @letmypeoplego

Большое спасибо добровольцам, ждите инвайты для проверки Task-0.

Мы приняли решение поработать в новом формате оценивания. Таким образом вы все еще можете доделывать Task-1 вплоть до момента его проверки.

Вы наверняка уже заждались очередного квиза, и вот он https://forms.gle/qmzdq1bVkpFD6zfJ9. Для ео прохождения будет полезна лекция по энграммным моделям

Всем привет. Мы приступаем к проверке Task-1. Дедлайн проверки 16.03 (23.59 время московское). Сегодня начнут приходить инвайты.

Несколько проверок мы сделали публичными, они ни в коем случае не претендует на эталонность, однако могут помочь вам. Доступно по адресу курса https://github.com/deep-nlp-spring-2020

Если вы проверили назначенные вам работы Task-0 и не получили инвайт на Task-1 до 09.03 напишите об этом в канале с тэгом #вопрос_оргам с указанием гитхаб логина.

Перед проверкой еще раз ознакомьтесь с FAQ по проверке. https://docs.google.com/document/d/15GhxWhmzXx1HZt7-8jUPvOq68nHma7vU7__HGgpUxWk/edit?usp=sharing

Уважаемые участники курса, пожалуйста, не надо адресовать вопросы по курсу @dropout05, пишите @letmypeoplego или @alexeysorokin89. Особенно это касается организационных вопросов.

Всем привет! Сегодня состоится очередная очная лекция курса. Она будет посвящена разбору квиза, краткому рассказу про донейронные языковые модели, а также первому анонсу курсовых проектов. Обращаю внимание, что темы проектов уже выложены на гитхаб-странице курса https://github.com/deep-nlp-spring-2020/deep-nlp

Всем привет! Появился очередной квиз https://forms.gle/B1A9sjVthfSLFbKF8, срок сдачи до 10:00 вторника 17 марта. Для его решения понадобятся:
1. очередная прекрасная лекция Abigail See https://www.youtube.com/watch?v=QEw0qEa0E50&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z&index=7 (лекция 7)
2. статья про градиенты в рекуррентных сетях https://proceedings.mlr.press/v28/pascanu13.pdf
3. блогпост от Криса Олаха (жаль, что он последние годы не пишет) https://colah.github.io/posts/2015-08-Understanding-LSTMs/

Всем привет! Завтра не будет очной лекции. В качестве компенсации завтра или послезавтра мы выдадим новое домашнее задание.

Дедлайн по проверке Task-1 переносится на пятницу (20.03) 23:59 время московское. Если у вас не работают инвайты, прошу написать об этом в чате с указанием логина на гитхабе.

19 марта состоится семинар лаборатории нейронных систем и глубокого обучения, на котором руководитель лаборатории Михаил Бурцев кратко расскажет о проблемах нейросетевых архитектур, основанных на трансформерах (прежде всего BERT и его варианты), применительно к задаче языкового моделирования, и предложит направления исследований для преодоления этих проблем. Доклад будет особенно интересен тем, кто следит за тем, что происходит на переднем крае современного NLP, и что сейчас волнует ведущих исследователей. По итогам семинара заинтересовавшиеся слушатели смогут выбрать тему для своего NLP проекта.

Начало семинара 18.00.
Ссылка на видеотрансляцию будет доступна в канале за 15 минут до семинара.

Итак тема текущей недели CNN для НЛП. Лекция от Stanford дает хорошее введение https://www.youtube.com/watch?v=EAJoRA0KX7I

Далее переходим на ставшие уже классикой статьи
https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf
https://arxiv.org/abs/1702.01923
https://www.aclweb.org/anthology/D14-1181.pdf

Кроме того, пришло время для новой практической работы. Цель этого задания — поработать с языковыми моделями, а также выполнить текстовую классификацию с помощью RNN и с помощью CNN (тема текущей недели). Сделайте акцент на экспериментах: попробуйте улучшить модели в задании, пишите что у вас получилось, и что нет. Не откладывайте задание на последний день, приступите к нему как можно раньше.
https://classroom.github.com/a/d89zcsa_

Инвайты на проверку этого задания будут распределяться начиная с субботы 28.03 (выполнение все еще будет доступно).

Как вы знаете финальная и самая важная часть нашего курса это проекты. Мы делаем доступной форму для записи проектов. Предлагайте свои темы, не забывайте, что темы предложенные нами вы можете найти на страничке курса. Находите единомышленников в этом чате. Участники предыдущего запуска курса или ваши опытные товарищи могут стать менторами проекта. В команде должно быть достаточно участников чтобы раскрыть тему, однако не делайте команды слишком большими. Мы напоминаем, что в этом потоке мы открыли возможность заниматься одной темой нескольким командам. Некоторые проекты потенциально могут дотянуть либо до научной статьи, либо до компонента в библиотеку DeepPavlov (укажите в форме ваши цели). Прошу строго придерживаться формата записи в форме. Когда проект сформулирован, команда набрана и ментор найдет, отметьте yes в колонке Finalized. Для сформированных проектов будут созданы репозитории и команды на Гитхабе курса.

https://docs.google.com/spreadsheets/d/1H-p9atagr1dI_j8b5kRJEuuXtZWshVXHNyyHTd4nsQI/edit?usp=sharing

Через несколько минут начнется лекция от Михаила Бурцева про языковое моделирование на трансформерах.
https://meet.google.com/cfc-wkha-ydb

Всем привет! Уже давно не было квизов, мы исправляем этот пробел https://forms.gle/1t7ErRHdVp9s9RcM6 Срок сдачи — до 9:00 следующего понедельника.
Также это повод прочитать ещё несколько статей (они могут пригодиться в следующем квизе):
1. Про посимвольные сети https://proceedings.mlr.press/v32/santos14.pdf (на мой субъективный взгляд, идеологически эта статья в десятке самых значимых за десятилетие).
2. Про разметку последовательностей (NER и морфологический анализ): https://arxiv.org/pdf/1603.01360.pdf, https://www.aclweb.org/anthology/E17-1048.pdf
3. Про свёрточные сети в классификации https://arxiv.org/pdf/1510.03820.pdf
4. Про интерпретируемость свёрточных сетей https://arxiv.org/pdf/1809.08037

Всем привет! В ближайшее время мы начнем распределять инвайты на проверку Task-2. Вы все еще можете продолжать работать над заданием вплоть до окончания этапа проверки, однако убедительная просьба обновить код в репозиториях.

Еще нам предстоит глобальная чистка репозиториев. В ближайшие дни будут удалены все пустые репозитории (участник принял работу, однако не оставил ни одного своего коммита). К владельцам полных репозиториев просьба почистить их от лишних файлов (датасетов, корпусов эмбедингов, бинарников моделей).

Всем привет! К этому моменту все инвайты на проверку Task-2 распределены, прошу принять их как можно скорее. Дедлайн для проверки 7.04 (вторник) 23.59 (время московское).

Во время проверки прошу руководствоваться уже ставшим классикой "FAQ по проверке"
https://docs.google.com/document/d/15GhxWhmzXx1HZt7-8jUPvOq68nHma7vU7__HGgpUxWk/edit?usp=sharing

Если вы не получили инвайты, однако считаете что должны были, прошу написать в чат с пометкой #вопрос_оргам с указанием логина на гитхабе.

Всем привет! Лекция Михаила Бурцева про языковые модели выложена на канале лабы.
https://youtu.be/tsaKVOjnMRU