Привет всем! Напоминаем, что сегодня пройдёт вторая очная лекция курса, которая состоится по адресу Дмитровское шоссе, д.9 (корпус 1С), аудитория 9235 (2 этаж), в 19-00.
Список всех, кто заявил ходить очно, приложен ниже. В дальнейшем мы не будем публиковать списки и напоминать о лекциях, т.к. это правило будет действовать априори. Мы также не будем проводить стримы лекций, а только ближе к пятнице-субботе выкладывать записи.

Всем привет! Пока вторая лекция монтируется, немного материалов для тех, кто хочет почитать чуть побольше про векторные представления слов и их свойства:
Статьи про математические свойства эмбеддингов в идеальном мире:
1. https://papers.nips.cc/paper/5477-neural-word-embedding-as-implicit-matrix-factorization.pdf
2. https://arxiv.org/pdf/1810.04882.pdf и пост к ней https://kawine.github.io/blog/nlp/2019/06/21/word-analogies.html
Статьи про то, что на самом деле с аналогиями всё не настолько хорошо, как обещано (но и не так плохо, как некоторые говорят):
1. https://www.aclweb.org/anthology/N16-2002.pdf
2. https://www.aclweb.org/anthology/S17-1017.pdf
3. https://arxiv.org/pdf/1905.09866

DeepPavlov отмечает 2 года!
Уже 28 февраля в 18:30 в ФизтехПарке пройдет встреча пользователей и разработчиков открытой библиотеки DeepPavlov. В этот день мы вместе с вами отметим 2 года с момента первого релиза.
С докладами выступят:
- Михаил Бурцев, руководитель проекта DeepPavlov,
- Лоран Акопян, руководитель проекта iPavlov,
- Константин Воронцов, руководитель лаборатории машинного интеллекта МФТИ,
- Роман Доронин, руководитель компании EORA,
- Татьяна Шаврина, руководитель направления Центра исследования данных, «Сбербанк»,

Мы расскажем о том:
• как мы делаем открытую библиотеку DeepPavlov;
• как ее применять в коммерческих решениях. 
Кроме того запланировано неформальное общение всех участников мероприятия. Подробное описание программы здесь.
Участие в мероприятии бесплатное, но обязательна регистрация.
Если вы заинтересованы в работе и в проектах в сфере NLP, то на встрече вы сможете пообщаться с предствителями и узнать больше про возможности.

Всем привет! На нашей третьей лекции мы продолжим разбирать основы нейронных сетей. На этот раз мы пройдемся по основным функциям активации, разберем их плюсы и минусы, затронем нормализацию и регуляризацию.

Третий квиз курса: https://forms.gle/zyxKGxpwLi3FANE16
Ответы принимаются до 9:00 понедельника. Обращаю внимание, что в эту же форму можно и нужно писать вопросы к лекции.

Материалы к третьему квизу:
лекция из курса CS231n: https://www.youtube.com/watch?v=gYpoJMlgyXA
заметки из лекции: https://cs231n.github.io/neural-networks-1/
заметки из лекции: https://cs231n.github.io/neural-networks-2/

В очередной раз привет! "я ждал это время и вот это время пришло", время проверки домашних заданий. Очень скоро на ваш почтовый ящик (который зарегистрирован в GitHub) придет приглашение для присоединения к репозиториям других участников курса. Мы просим вас принять приглашение и оценить другие работы в соответствии с баллами указанными в тетрадках. Такая проверка позволит вам улучшить свои кодерские навыки, а нам быстро оценить работы. Просьба максимально лояльно отнестись к проверке. В спорных случаях всегда принимайте решение в пользу студента. Итоговый бал следует прописать в заголовок Issues, а в тело Issue указать причины снижения оценки. Для оценки идут работы, где есть хотя быть один коммит от участника.

Всем привет! Стала доступна вторая лекция курса: https://youtu.be/vLrDmtm--a0
Обращаем внимание, что если у вас остались вопросы, то задавайте их на форуме https://forum.deeppavlov.ai/t/about-the-deep-learning-in-nlp-2020-spring-category/319
А если есть проблемы с проверкой заданий, то прочтите этот документ https://docs.google.com/document/d/15GhxWhmzXx1HZt7-8jUPvOq68nHma7vU7__HGgpUxWk/edit?usp=sharing

Всем привет! По многочисленным просьбам дедлайн по второму практическому заданию переносится на 26.02 (23:59).

Всем привет! К сожалению, я немного приболел, поэтому семинар сегодня (25.02) не состоится. Немного погодя вышлю новый материал и квиз. Доступен в чате.

Выкладываю материал на следующий семинар. Заключительная лекция от cs231n по введению в NN
https://www.youtube.com/watch?v=hd_KFJ5ktUc

и заметки к лекции
https://cs231n.github.io/neural-networks-3/

квиз будет немного позднее

Всем привет! Квиз на следующий семинар
https://forms.gle/8LTj7KZ3dZpxVF718

Всем привет! Если ваши инвайты на проверку задания Task-0 более не работают и новых вы не получали, прошу написать на @letmypeoplego ваш гитхаб аккаунт.

Всех приветствую! Итак мы переходим к новой теме: Языковые модели и RNN.

Лекция по теме от неподражаемой Abigail See
https://youtu.be/iWea12EAu6U

и заметки к лекции
https://web.stanford.edu/class/cs224n/readings/cs224n-2019-notes05-LM_RNN.pdf

Квиз будет немного позднее.

Всем привет, чтобы приступить к проверке Task-1 необходимо закончить с проверкой Task-0. Дедлайн проверки Task-0 пятница (6 марта) 23.59 московское время.

По проверке мы будем придерживаться принципа "у того кто не проверил назначенные ему чужие работы не будут проверяться текущие работы" (но они все еще смогут выполнять задания для себя в своем темпе).

Если у вас нет или не работают инвайты на проверку Task-0 пожалуйста отправьте свой гитхаб логин. @letmypeoplego

Большое спасибо добровольцам, ждите инвайты для проверки Task-0.

Мы приняли решение поработать в новом формате оценивания. Таким образом вы все еще можете доделывать Task-1 вплоть до момента его проверки.

Вы наверняка уже заждались очередного квиза, и вот он https://forms.gle/qmzdq1bVkpFD6zfJ9. Для ео прохождения будет полезна лекция по энграммным моделям

Всем привет. Мы приступаем к проверке Task-1. Дедлайн проверки 16.03 (23.59 время московское). Сегодня начнут приходить инвайты.

Несколько проверок мы сделали публичными, они ни в коем случае не претендует на эталонность, однако могут помочь вам. Доступно по адресу курса https://github.com/deep-nlp-spring-2020

Если вы проверили назначенные вам работы Task-0 и не получили инвайт на Task-1 до 09.03 напишите об этом в канале с тэгом #вопрос_оргам с указанием гитхаб логина.

Перед проверкой еще раз ознакомьтесь с FAQ по проверке. https://docs.google.com/document/d/15GhxWhmzXx1HZt7-8jUPvOq68nHma7vU7__HGgpUxWk/edit?usp=sharing

Уважаемые участники курса, пожалуйста, не надо адресовать вопросы по курсу @dropout05, пишите @letmypeoplego или @alexeysorokin89. Особенно это касается организационных вопросов.

Всем привет! Сегодня состоится очередная очная лекция курса. Она будет посвящена разбору квиза, краткому рассказу про донейронные языковые модели, а также первому анонсу курсовых проектов. Обращаю внимание, что темы проектов уже выложены на гитхаб-странице курса https://github.com/deep-nlp-spring-2020/deep-nlp

Всем привет! Появился очередной квиз https://forms.gle/B1A9sjVthfSLFbKF8, срок сдачи до 10:00 вторника 17 марта. Для его решения понадобятся:
1. очередная прекрасная лекция Abigail See https://www.youtube.com/watch?v=QEw0qEa0E50&list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z&index=7 (лекция 7)
2. статья про градиенты в рекуррентных сетях https://proceedings.mlr.press/v28/pascanu13.pdf
3. блогпост от Криса Олаха (жаль, что он последние годы не пишет) https://colah.github.io/posts/2015-08-Understanding-LSTMs/

Всем привет! Завтра не будет очной лекции. В качестве компенсации завтра или послезавтра мы выдадим новое домашнее задание.

Дедлайн по проверке Task-1 переносится на пятницу (20.03) 23:59 время московское. Если у вас не работают инвайты, прошу написать об этом в чате с указанием логина на гитхабе.

19 марта состоится семинар лаборатории нейронных систем и глубокого обучения, на котором руководитель лаборатории Михаил Бурцев кратко расскажет о проблемах нейросетевых архитектур, основанных на трансформерах (прежде всего BERT и его варианты), применительно к задаче языкового моделирования, и предложит направления исследований для преодоления этих проблем. Доклад будет особенно интересен тем, кто следит за тем, что происходит на переднем крае современного NLP, и что сейчас волнует ведущих исследователей. По итогам семинара заинтересовавшиеся слушатели смогут выбрать тему для своего NLP проекта.

Начало семинара 18.00.
Ссылка на видеотрансляцию будет доступна в канале за 15 минут до семинара.