Всем привет! В этом канале будут публиковаться объявления по нашему курсу. Так как курс читается параллельно на ФКН и в ШАД, часть объявлений будет релевантна не всем студентам, поэтому мы будем сопровождать важные новости тегами #ФКН и #ШАД.

Сегодня в 18:00 начнется первое занятие, подключайтесь по ссылке https://yandex.zoom.us/j/93800425321. Поговорим про сам курс, про подходы к измерению и оптимизации производительности в целом, а также узнаем немного об архитектуре GPU (и в целом ускорителей для нейронок). На семинаре посмотрим чуть ближе на модель памяти в PyTorch и способы правильно измерять скорость вашего кода на GPU

#ФКН #ШАД На гитхабе курса появились материалы лекции и семинара с первой недели. В README есть куча полезных ссылок про CUDA, если вам не хватило лекции; в целом после каждого занятия в его папке можно будет найти дополнительные материалы. Отдельно отмечу GPU Glossary и GPU Mode Resource Stream: первый полезен для верхнеуровневого понимания основных терминов, во втором материалов наберется на отдельный курс

файл эффективности 10

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по тестированию кода и управлению экспериментами (можно получить 2 бонусных балла, если выполните целиком). Дедлайн — 10.02 08:00MSK, страницы для сдачи появятся в ближайшее время

файл эффективности 11

#ФКН Если вы хотите получить доступ к Яндекс.Облаку для выполнения домашних заданий, пожалуйста, заполните эту форму: https://forms.gle/fMNaaTSDNieThDBb6
Дедлайн заполнения: 12 февраля 12:00MSK

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по эффективному обучению и профайлингу кода. За задание можно получить больше 10 баллов, чтобы увеличить свою оценку за блок по пайплайнам обучения. Дедлайн — 17.02 08:00MSK, страницы для сдачи появятся в ближайшее время

#ФКН У кого проблемы с лмс шада, напишите в лс @ipomeya31 (имя + фамилию).

файл эффективности 12

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по data-parallel training. В задании есть бонус, решив который, можно получить до 3 бонусных баллов в блоке по распределенному обучению.

Дедлайн — 24.02 08:00MSK, страница в LMS появится в ближайшее время

#ШАД #ФКН Сегодняшнее занятие переместили в аудиторию Сорбонна, встречаемся там и в Zoom в 18:00. Поговорим про различные схемы model-parallel training, а также про техники обучения больших моделей в целом

файл эффективности 13

#ФКН #ШАД На гитхабе курса появились материалы прошлой недели, а также домашнее задание по обучению больших нейросетей. Оно будет состоять из двух частей, вторую выложим в ближайшие пару дней.

Дедлайн — 04.03 08:00MSK, страница в LMS появится, как всегда, в ближайшее время

файл эффективности 14

#ФКН Мы создали GPU-сервер и отправили на корпоративную почту письмо с его адресом тем, кто запрашивал доступ, а также инструкциями по подключению

#ФКН #ШАД появилась вторая половина задания week05_large_models

./week05_large_models/practice_part2.ipynb (open in colab)

В этом задании все нужные вычисления в довольно короткие, но там нужно порядочно покодить и немного позапускать код на 2+ GPU. Настоятельно советуем начинать не в последний день, иначе есть риск что все GPU будут заняты. Если вы всё-таки продолбались до последнего дня, или если у вас нет multi-gpu - можно запустить на одной карте или даже на CPU, но вместо заданий про бенчмарки нужно будет делать альтернативные задания, а они немного сложнее. Подробности в описании заданий. Удачной охоты!

файл эффективности 15

#ФКН #ШАД На гитхабе курса появились материалы этой недели, а также домашнее задание по деплою. 10 баллов, дёшево и сердито.

Дедлайн — 10.03 08:00MSK, страница в LMS появится в ближайшее время

#ФКН #ШАД Сегодняшнее занятие сдвигается на полчаса. Начало в 17.30MSK. Подключение всё так же по ссылке