Как я учился ML

В новом ролике на канале MLinside рассказал, как я учился машинному обучению и что могу посоветовать тем, кто хочет научиться ML сейчас.

Меньше 15 минут видео (а на х1.5 даже 10 минут), и вы узнаете, хорошо ли идти за ML в университет, какие университетские курсы самые классные, а также в чем плюсы и минусы самообразования и коммерческих курсов :)

Кратко по сути: компании нанимают супер-дорогих технарей не для того, чтобы их календарь превращали в зебру, после которой ничего толкового сделано не будет. Если вы менеджер, и у вас есть опция поставить разрабу или DSу две встречи подряд либо две встречи с интервалом в час - выбирайте пожалуйста первое, иначе вы будете просто сжигать деньги бизнеса напрасно только потому что вы тупой 🫶🏼

Ну что же, теперь есть легитимный повод красить все презентации в «согревающий коричневый оттенок»

Кстати, впервые с тем, чтобы презентации красили в цвет года Pantone и перерисовывали под современные дизайн-тренды (то неоновые цвета, то матовое стекло, то еще что-нибудь, каждый год новое) я встретился, когда ко мне в команду пришел сотрудник, ранее клепавший со своим отделом прототипы всяких AI штук в очень крупной компании. Когда KPI это количество успешно проведенных демонстраций и докладов председателю правления, форма порой становится важнее содержания, и подаче уделяется очень много внимания. Не могу сказать, что осуждаю - какой KPI, такое и исполнение.

Так что если у вас тоже есть KPI на количество успешных отсветов фейсом перед руководством - согревающий коричневый в этом году точно к вашим услугам.

‼️Интервью с руководителем Школы Анализа Данных Яндекса

🎤Опубликовали в YouTube канале интервью с Лешей Толстиковым. Много говорим об образовании, ШАДе и алгоритмах (нужны или не нужны, почему), ну и конечно же обсудили, как складывался карьерный трек самого Леши :)

#квиз
Что-то давно у нас не было квизов :) Задавайте свои ответы!

Ну что же, в последнем квизе, конечно, правильный ответ был [3], но раз он не зашел аудитории, вот вам вопрос поинтереснее.

Предыстория: студент анализировал тексты классическими методами. В частности, строил признаковые описания на основе частот слов. После отображения выборки в пространство двух главных компонент студент получил такую замысловатую картинку. Глядя на нее, научрук сразу посоветовал не писать свои костыли, а пользоваться готовыми реализациями из библиотек, а также сразу сказал, где у студента ошибка.

Вопрос: где у студента была ошибка?

Вопрос "со звездочкой": как может объясняться резкий перепад в графике рядом с 1200 по горизонтальной оси?

Пишите ваши версии в комментариях :)

Крик души про оценку качества рекламы по попаданию в пол-возраст
Иногда Data Scientist’ы в тг не боятся писать лютую базу. А тут даже не база, а целый генштаб.

Тоже горит с этого наяривания на пол-возраст вместо прямого прогнозирования отклика и замера его качества. А уж оценка попадания по панелистам или по Яндекс.Метрике по принципу «если даже такую простую задачу плохо решите, то куда вам до response моделей» - просто полыхание всего, что плохо сидит))

В четверг проводим вебинар перед запуском курса ML в бизнесе. В курсе разбираем с Никитой топ 7 задач по экономическому эффекту от ML для бизнеса

#с_level
PowerPoint-зазеркалье

Если меня спросят, от чего у меня больше всего горело на C-level, так это от двух вещей: комитетов и презенташек. Про комитеты я напишу отдельный пост, а вот по презенташкам слегка пройдусь сейчас.

Не подумайте, я не считаю Power Point злом во плоти. На мой взгляд, несмотря на громкие амазонские эксперименты, слайды могут неплохо помогать людям донести свои мысли быстро и четко, если у человека правда есть какая-то внятно сформулированная цель коммуникации, а слайды подготовлены тоже качественно. И горит у меня не от того, что люди часто рисуют слайды неинформативными или наоборот перегруженными, с этим тоже можно жить. И исправлять эту ситуацию несложно.

Горит у меня вот от чего: в куче компаний топ-менеджмент периодически собирается на всякие совещания и стратсессии, на которых показывает друг-другу домашние заготовки (в виде нарисованных их сотрудниками слайдов) под видом того, что нарисованное на этих слайдах и есть то, что реально происходит и будет происходить в бизнесе. На этих слайдах обязательно рисуются какие-то амбиции, планы, грандиозные замыслы, золотые горы, к которым только руку протяни и вот до конца контракта докладчика будет все подготовлено и прямо на следующий год как долбанет вверх выручка, ух как заживем! А рядом с моим домом тем временем ездят роботы-курьеры, которые на улицах Москвы еще пять лет назад показались бы фантастикой. И я точно знаю, что эти роботы ездят не потому, что кто-то нарисовал слайды в Power Point.

Ощущение, что все эти наши шабаши со слайдами - это путь куда-то не туда, грызло меня с самого начала. С другой стороны, числа с результатами и планами показать друг-другу надо, и идею/мечту (у кого что) донести надо, и обсудить тоже надо. Так что выглядит как необходимое зло. Но есть два логичных способа попытаться это зло чуточку уменьшить:

1) Числа по текущей ситуации в бизнесе надо показывать не посредством написания руками чисел на слайде, а в дашбордах на основе регулярно валидируемых данных

2) Если можно про что-то не рассказать, а показать - показывать. Лучше одно демо, чем 10 срежессированных видосов или 100 объяснений, как классно оно работает.

Отдельная проблема с последним это как сделать демо, если ваш результат это например улучшение эффекта от рекомендаций на 10%. Вообще рассказывать про инкрементальные улучшения в существующих ML штуках очень больно: все эти проценты ничего не значат для тех, кто не разбирается, а тем, кто разбирается, достаточно таблички с результатами и ответов на несколько вопросов. Но никакими эффектными демо тут и не пахнет. Даже наоборот - эффектные демо дадут те вещи, которые вряд ли сильно повлияют на метрики. Вот и получается, что вроде боролись со злом в лице слайдов, а создали новое зло - мотивацию делать штуки для красивого демо, а не для большего эффекта.

В итоге я пришел к принятию, что вся эта история про зазеркалье презентаций и мир, существующий на слайдах - не про слайды и Power Point. Она про культуру нашего общения, взаимодействия и оценки результатов. Если у нас в крови мерять все, что меряется, это одна история. Если мы с детства любим красивые сказки и эмоциональные рассказы - это другая. Первое нужно, чтобы не улететь совсем в облака, а второе на самом деле тоже нужно - чтобы продолжать мечтать и сохранять мотивацию идти дальше. Плохо, когда остается только что-то одно.

Ну а Power Point это просто инструмент: что запрещай его, что не запрещай - сказочники останутся сказочниками, а любители все измерить продолжат смотреть на числа.

А как вы думаете, что нужно делать, чтобы планы и стратегии, нарисованные в слайдах, имели какую-то связь с реальным миром? И нужно ли вообще, или наоборот пусть лучше нормальные люди работают, а фантазеры фантазируют визионеры визионируют?

Мы так однажды с Никитой (автором поста ниже) поспорили, как считать в рекомендациях precision@k, когда кандидатов меньше k. Никита топил за реализацию в катбусте, потому что читал исходники, а я топил за деление на k, потому что привык, что по графикам precision@k и recall@k можно базово прикинуть адекватное вашему случаю количество рекомендаций в блоке или найти проблему типа нехватки кандидатов: если в какой-то момент precision@k начинает сильно падать просто потому что вместо 5 рекомендаций у вас повально 2, это проще заметить.

В итоге, изучив другие источники, Никита, с нотками досады признал правильным мой вариант, хотя логика в катбустовой реализации конечно тоже понятна - не штрафовать, если лучше уже нельзя было отранжировать. И если честно, я бы не был здесь так категоричен в вопросе «как правильно». Смотря чего вы хотите: включать измерение качества кандидатов в метрику или нет. Но главное, что так мы с Никитой узнали, что нам есть о чем поговорить, кроме слайдов в Power Point, и это было прекрасно :)))