Курс "Нейронные сети и их применение в научных исследованиях" выложен в открытый доступ

Этой весной, я читал в МГУ свой собственный курс, теперь он полностью в открытом доступе под лицензией CC0.

В настоящее время, одним из самых перспективных методов машинного обучения считается глубокое обучение (нейронные сети). За последние несколько лет глубокое обучение нашло применение практически во всех областях науки, от биологии и физики до лингвистики и философии.

Этот курс из 12 лекций даст студентам высокоуровневый обзор современных методов искусственного интеллекта и их применения в различных научных областях. Изучив курс, студенты смогут разобраться, что возможно в настоящее время и что, вероятно, будет возможно в ближайшем будущем.

🎥 Смотреть курс тут

Буду признателен за максимальное распространение, я потратил много времени и усилий и мне будет очень приятно, если курс увидит как можно больше людей!

#стажировка
👨‍💻 Гайд как испортить настроение другу-стажеру и его ментору:
- вечер пятницы, рабочий день подходит к концу
- регистрируюсь в сервисе, в разработке которого участвует мой друг
- нахожу сразу 2 серьезных бага
- друг и его ментор начинают ругать беков и фронтов
- спустя 5 минут ментор друга закрывает ноут, говорит что эта фигня не стоит его нервов и уходит
- еще спустя 5 минут с теми же словами уходит и мой друг 🤡

Про науку. Сейчас будет несколько историй от моего научного руководителя и мои наблюдения/выводы. Про него: 4700 цитирований, 33 индекс хирша. Думаю, ему можно верить. Он много ездил на международные программы и прочее. 1) Европа - вообще не рай для ученых, что видно на конкретных примерах. Ученика моего научрука позвали на постдок к Нестерову (один из трех создателей всей численной оптимизации), в Бельгию, за решение проблемы, которую Нестеров не мог решить 4 года. И ему предложили стипендию как у кассира из пятерочки. Все было бы прекрасно, мол работай где хочешь, но во многих странах Европы ты СОГЛАСНО ЗАКОНАМ не можешь параллельно где-то работать, занимаясь наукой. И до войны многие ученые ездили в Россию на заработки. Теперь это стало намного сложнее, поэтому некоторые ученые банально не могут прокормить свою семью (речь идет о тех, кто занимается теорией оптимизации, не думаю что в других сферах все сильно иначе), поэтому, например, Роланд Хильдебранд, оптимизатор из Франции, перевозит свою семью в Россию, переезжает сюда и будет полноценно работать и преподавать на физтехе (раньше он читал несколько лекций в курсе по численным методам). Более того, если в Европе ты руководитель-ученый, то и тут появляются проблемы. Моего научрука звали на крутую позицию в Европу, прям рекламировали, но сказали, что он может взять на этой крутой позиции лишь двоих аспирантов. А у него их 17. И как быть? Не ясно. 2) Нынешняя ситуация дает многим математикам, особенно оптимизаторам, буквально второе дыхание. Раньше российские компании и предприятия не хотели разрабатывать свои пакеты, а пользовались западными, однако теперь это стало ненадежно. Причем их использовали не смотря на устаревание. Пример: мой научрук пришел в министерство транспорта Москвы и сказал, что их солвер для транспортных потоков работает на технологиях из 90ых и предложил сделать нормальный, на что был послан словами "у нас есть лицензия, нас все устраивает". Однако теперь он с учениками делает для мин.транспорта оптимизационный пакет, применяющий новейшие наработки в данной области. Такой же проект, но по другой теме, у него был и вероятно сейчас есть с ВТБ, и бог знает с кем ещё. 3) Быть ученым-математиком(тут в основном про оптимизаторов, сложно сказать как в других сферах) также и достаточно выгодно, так как помимо научной деятельности ты а) можешь брать кучу проектов, например с Хуавеем, который позволяет по разработкам публиковать статьи и хорошо платит и б) участвовать в миллионе конкурсов и грантов, один из которых таки удастся выиграть. Научный руководитель приводил много примеров, когда его ученики такое брали, нет смысла на этом останавливаться. В целом хуавей очень много сделал для российской математики, так как, опять же, позволяет публиковать статьи, где в общих чертах описывается математика решения и эксперименты, а также хантит математиков. 60% учеников моего научрука (а со мной может и больше) имеют какие-то проекты либо работу в хуавее. 4) Бакалавриат в России - хорошая идея. Научный руководитель говорит, опираясь на опыт его учеников и свои знания, что бакалавриат на физтехе дает тебе больше знаний, чем в MIT, но в магистратуре и особенно аспирантуре все меняется. В России очень многое зависит от твоего научрука, обучает он тебя или нет. В западных вузах ты можешь брать advanced курсы, где тебя в любом случае научат очень глубоким вещам, что несомненно огромный плюс. Однако, также по его словам, физтеховские магистратуры сейчас встают на уровень с западными, значит скоро мы доберемся и до аспирантур. Вердикт: наука в России не мертва. Вероятно, химикам, или тем кто занимается железом, намного сложнее, чем математикам, но происходит множество подвижек в этом направлении, и тенденция выглядит для меня очень привлекательно. Согласие и несогласие можно выразить в комментариях

Нипс 2022 be like*.

Считаю, что нужно для каждой конфы такое сделать. Неизменно будет только одно - ролик со Шмидхубером. Ещё бы кто приправил менее толерантными шутками.

*Для нубов. Это крупнейшая конференции по AI и нейронным сетям в мире.

@ai_newz

ЛКШ moment

(Если кто-то не помнит, 10 и 12 августа будет проходить IOI)

🔥MineDojo🔥
NVIDIA выпустила фреймворк для создания автономных агентов, которые могут играть в Minecraft, обучаясь на видео, текстах с вики и реддита.

Кроме того, команда MineDojo выложила свои датасеты:
- YouTube Database, на ~300 тысяч часов видео по майнкрафту, видео содержат английские субтитры.
- Wiki Database, ~7 тысяч страниц.
- Reddit Database, более 340 тысяч постов.

Страница проекта

#мем
Когда в крупном проекте ты единственный DS, кроме тебя ещё 10 специалистов и PM'ов, но разметки и нормального ТЗ нет уже несколько недель

🔥 Закрылся на вступительном контесте по алгосам (сам контест до 4 сентября вообще, но я решил что закрыться можно и пораньше)
Жаль, что только вторым(

✅ Прошла встреча по итогам стажировки

В мой текущий круг меня взять не могут из-за переизбыстка ds'ов (да и задач уже как то поубавилось), но зато меня берут в другой круг, в котором задач еще много (подробности будут позже) и теперь я уже почти полноценный джун

Что дальше?

Дальше планирую в сентябре пройти грейдирование, чтобы получить соотвествующие себе грейд и зп (очень надеюсь закрыться на миддла), а также совмещать с учебой (в конце концов, по выходным пар точно не будет)

С Днем Знаний! 🔔

Под праздник как раз есть классная новость: университет Карнеги-Меллона открывает набор на бесплатный онлайн-курс Deep Learning Systems для всех желающих!
#learning

О чем курс:
Сейчас большая часть кода глубокого обучения пишется c помощью фреймворков: PyTorch, Tensorflow, etc. И на популярных курсах по DL учат, как этими фреймворками пользоваться: как с помощью них реализовать нейросеть, обучить ее, ставить эксперименты. Но глубже не идут: не рассказывают, как реализован код оптимизаторов/слоев внутри PyTorch, как реализован градиентный спуск, какие нюансы есть в работе с CPU/GPU и т.п. Тем не менее, понимание того, как это все работает, бывает очень полезно в работе: чтобы реализовывать кастомные фичи, писать эффективный код и на полную использовать функционалы библиотек.

Курс Deep Learning Systems как раз посвящен более глубокому погружению в то, как работают фреймворки глубоко обучения. В течение курса студенты с нуля напишут свой фреймворк наподобие PyTorch или Tensorflow. В частности, реализуют:
- модуль автоматического дифференцирования;
- бекенд для линейной алгебры на CPU/GPU;
- несколько стандартных моделей (CNN, RNN, Transformer, etc).

Более подробная информация — на странице курса. Курс стартует 13 сентября. Записаться можно, заполнив эту форму.
Также посмотрите это короткое видео: тут можно познакомиться с преподавателями, лучше понять, о чем курс и кому он подойдет.

Подвожу итоги за лето:
✅0) ЕГЭ подтвердил
☑️1) слил фиола
❌2) не решал каггл
❌3) ничего не ботал
✅4) успешно завершил стажку и теперь Джун
✅5) я решил что мой гитхаб и так хорош

UPD: сегодня ещё будет просто итогах вступительных тестов и в каких группах я оказался, а ещё сегодня у меня первые пары

На первой лекции по алгебре узнал, что ничего не знаю об алгебре....

Что я могу сказать по поводу распределительных контестов в вышке (только сейчас пришли итоговые резы):
1) 1я группа по матеше (из 6, самая жесткая)
2) 1я группа по алгосам (из 6, самая жесткая)
3) 2я группа по проге (из 6, предсамая жёсткая)

Каков вердикт?
Мне конец, так как ещё работаю на фуллтайме 🤡🤡🤡

Довольно давно на этом канале не менялась аватарка, поэтому жду предложений в комментах, потом устроим голосование какая лучше

UPD: можно также предлагать еще и новые названия, но по нему голосования уже не будет, решать буду я

Официально заявляю:
Начинаю подготовку к грейдированию с помощью https://ml-handbook.ru/
(Вспомнить математику, лежащую в основе мл лишним уж точно не будет)