Вопрос на засыпку: все ли понимают причину такой дипломатичной формулировки в статье? Не про «не хотели обижать мэтра», а именно почему не хотели и ни в коем случае нельзя было? :)

Продолжая тему культуры аппрувов и самостоятельности
Часто она идет вкупе с уважением к авторитетам, и на сей счет есть кейс, который каждый год (аж два) рассказываю студентам на модуле графовых нейронок в магистратуре физтеха.

Когда опубликовали идею attention, ее сразу же начали пытаться добавлять всюду – и стороной не обошли и графовые свертки.

Итак, 30 октября на архив выкладывают короткую статью Graph Attention Networks. Все бы ничего, но в авторах есть сам великий Yoshua Bengio 🥸!!!

И реализацию статьи добавляют в прекрасный Pytorch Geometric под именем GATConv.

Все бы ничего, но работает эта штука не то чтобы очень.
А все почему? Attention реализовали в виде линейного слоя после линейного слоя 😆😆😆😆. Да, без нелинейности между ними 😂😂😂 А чему учат на первом занятии по DL? Тому что два линейных слоя подряд – снова линейный слой!

Лишь спустя 4 😱 года — в 2021 — на архив выкладывают статью с аккуратным названием How Attentive are Graph Attention Networks?, где ни в коем случае не утверждается что мэтр с командой ошиблись.

Только посмотрите на образец дипломатичной формулировки:

However, in this paper we show that GAT computes a very limited kind of attention: the ranking of the attention scores is unconditioned on the query node. We formally define this restricted kind of attention as static attention and distinguish it from a strictly more expressive dynamic attention

Опытные ребята! 🏆

Исправленную графовую свертку с вниманием назвали не мудрствуя лукаво GATv2Conv. 😄

И если на собесе забудете формулу KQV-attention (которое self), расскажите эту историю про другой механизм реализации идеи внимания, посмеетесь вместе с интервьюером 😁

#c_level Про болтовню и болтунов

Самая сложная часть работы, когда весь ваш календарь превращается в сплошные встречи (а на C-level часто так), это отсутствие х2 скорости речи, как на YouTube, люди, втирающие какую-то дичь, и люди, не отвечающие прямо на поставленный вопрос и старающиеся все заболтать

Причем как настоящий переговорщик получает от процесса переговоров не меньше удовольствия, чем от успешного их завершения, а настоящий продавец - от процесса продажи, настоящий любитель поболтать тоже воспринимает процесс как прекрасный танец в котором ему одно удовольствие исполнить главную партию. Если вам нужен сугубо результат, а надавать болтуну по щам вне зоны ваших полномочий, пытка неимоверная

В какой-то момент я начал развивать терпение по принципу «представьте, что вы психиатр». Как это? А вот так: если кто-то бодро забежит к вам в кабинет на четвереньках, надо не кричать «ты больной?», а вкрадчивым голосом интересоваться: «ой, а кто это тут у нас, собачка или кошечка?». И внезапно люди, несущие ахинею на совещании становятся очень интересными, ведь там свой волшебный мир, ждущий своих исследователей :)

Как натренировать этот навык? А очень просто, либо ходите на совещания, если их уже достаточно для антропологических целей, либо подписывайтесь на телеграмм-каналы и читайте иногда. Нет, это не прогрев, серьезно, знаете сколько всего интересного пишут. Если вам нужен навык «я видел некоторое говно» - интернет и телега в частности вас точно не оставят в беде

Знаете, что такое чистое счастье? Вот вы вывели формулу, проверили, она работает - это счастье. Вы написали код, запустили, он работает, проверили - правильно работает. Вот это и есть чистое счастье.

Никаких вопросов как на работе в духе «а я ли эту формулу сейчас вывел или это команда затащила вопреки моему косорукому участию?». Или «а правильно ли я реорганизовал подразделение, может только хуже сделал?».

Да, есть вопрос, а нужна ли была эта формула или этот код. Но обычно даже этот вопрос терзает на порядок меньше предыдущих.

Когда можешь измерить результат, когда видишь его своими глазами, когда получил его своими руками, когда результат получен логически строгими шагами - это запредельное счастье.

Поэтому, например, мне нравится преподавать вживую, а не только записывать лекции. Спросят что-нибудь, например попросят вывести формулу, на которую ты 5 лет болт кладешь и даже не думаешь разбираться, не знаешь как ответить, пошел - разобрался. Сначала сам. Получилось - восторг, если прям сразу как спросили получилось - вдвойне восторг. Не получилось - ищешь наводки. Не смог с наводками - ищешь ответ, разбираешь ответ. Немного с привкусом разочарования, но все равно счастлив, теперь же знаешь, как оно.

Когда такого счастья в жизни становится маловато, обязательно кто-нибудь из студентов подкинет :)

А если пост наберет 100 реакций, запощу несколько моих любимых вопросов и ответов с занятий в канал.

#преподавание

Тем временем подкаст ТехТок возвращается после новогодних праздников :) Завтра выпускаем интервью с Сергеем Марковым про GenAI. Кстати, с момента записи интервью у Сергея уже вышла его книга, так что можно почитать электронную версию и даже заказать печатную: https://markoff.science/#book

Интервью с Сергеем Марковым про GenAI в подкасте ТехТок

Таймлайн:
00:00:00 - Начало
00:03:55 - Кратко о расцвете генеративных моделей
00:09:58 - Важные достижения ДО выхода ChatGPT
00:13:05 - Как учили первые Российские генеративные модели
00:16:51 - Почему пальцы проблема и разнообразие датасетов
00:21:41 - Различия подходов к генерации и специализация нейросетей
00:31:16 - Мультиагентные среды
00:36:15 - Написание промтов и правовые вопросы
00:46:16 - Регуляторные механизмы и вотермарки
00:50:07 - Диффузионные модели vs авторегрессионные
00:54:47 - Генерация видео (по состоянию на 2024 год)
00:59:49 - Важные задачи в GenAI
01:04:29 - Трудности разработки русскоязычных моделей

YouTube: https://youtu.be/4Cxk3gYuGo0?si=Wvi7sZqEEGzhN-RM
VK видео: https://vkvideo.ru/video-228552366_456239024

Попросил тут ChatGPT сгенерировать вопросы по ML, теперь дрожу от ужаса, что скоро нас заменят 😭

#образование Про платный и бесплатный контент

Давным-давно, когда мы с Эмели Драль впервые пробовали продавать корпоративное обучение по Data Science (вероятно лет 7-8 назад), я спрашивал совет у одной очень матерой пиарщицы про то, как вообще выходить на рынок, где можно и нужно засветиться, ну и вообще какими мыслями может поделиться.

Первый её совет был такой: сначала позаботьтесь о том, чтобы ваша конверсия не срезалась невозможностью у вас что-то заказать. Вот если у вас есть лендинг, нужно чтобы все кнопки «заказать» там 100% работали, все указанные почты читались, ответы были оперативными и т.д. Только после этого имеет смысл приводить какой-то трафик. Банально? До безумия. Но конечно я миллион раз и сам косячил в этом и за другими замечал.

Наш курс Data Mining in Action проводился девять лет и был бесплатным для слушателей. Каждый набор к нам кто-то подходил и говорил: «Вы неправильно живете, что не берете деньги за это!». Мы не только не брали, мы еще и сами вкидывали свои, чтобы были материалы, чтобы был выпускной, много для чего. Привлекали некоторое финансирование от компаний-партнеров, но существенно меньше общего бюджета.

И вот мне это начало самому надоедать, потому что часто не хватало денег чтобы удерживать людей в проекте. Это же не чисто моя благотворительность, это была еще и благотворительность наших препов. А всем рано или поздно начинает не хватать времени. Со специализацией на Coursera была отчасти похожая история, но уже чуть получше. Да и просто честолюбие потешить тем, что на каждой второй встрече говорят, что учились по твоим лекциям, уже дорогого стоило ))

Но в итоге мое возвращение в массовое образование в прошлом году помимо преподавания в МФТИ и ВШЭ ожидаемо включило в себя запуск коммерческой онлайн-школы ML. Тут конечно я сразу оценил контраст между тем, когда что-то раздаешь людям бесплатно, и когда продаешь. В первом случае тебя все благодарят, а во втором орут, что «Буратин теперь в ML гонят».

Но и в возможностях для организации тоже контраст крутой. Теперь видосы красивые, обратная связь быстрая (на фоне того что было на бесплатном курсе - безумно быстрая), домашки проверяются, даже видосы на канале школы на YouTube периодически залетают. Ну а люди, которые осмысленно заплатили за курс, ходят на занятия и делают домашки, да и даже если не всегда делают, оказались очень приятной и благодарной аудиторией, с которой огромное удовольствие работать.

Если вы думаете, что я хочу сказать «нафиг бесплатное образование», не спешите с выводами. Оказалось, что полезные бесплатные материалы это база маркетинга в современном массовом образовании. Сначала к вам долго присматриваются по роликам на ютьюбе или выложенной pdf с учебником, а потом в какой-то момент решаются уж пойти и серьезно поучиться. Поэтому сейчас у меня новый заход в создание бесплатных материалов, видеолекций и курсов. И об одной такой вещи я расскажу вам здесь на днях. Изменилось только одно - теперь не режу конверсию тем, что ничего нельзя купить, как 10 лет назад :))) Можно, уже как минимум два курса есть в MLinside и еще несколько на подходе.

Первый бесплатный курс MLinside

Мы опубликовали на Stepik наш первый бесплатный курс (он же демо платного) - https://stepik.org/users/984760246/

Первым (коммерческим) курсом в MLinside был базовый курс ML. Не то чтобы мало на свете введений в ML. Для меня, например, после 15 лет преподавания, гораздо более интересный курс это ML в бизнесе, который мы тоже уже стартовали в MLinside, и где рассматриваем стандартные задачи, решаемые в компаниях. Но сработал тот же принцип несрезания конверсии, о котором я рассказывал в прошлом посте: вот придет кто-то на ML в бизнесе, поймет, что пока рано, и много чего из базы непонятно, а без базового курса и идти некуда 🙂

Первый поток мы набрали очень быстро, и с головой погрузились в проведение курса. Но в какой-то момент стало понятно, что поток закончится через 6 месяцев, отзывы от самых быстрых студентов пойдут через 3-4 месяца, и все это время не публиковать никакой информации о «Базе ML» будет как-то опрометчиво.

Решением стала публикация отдельных лекций в открытом доступе. Подписчики нас попросили выложить примеры лекций всех преподавателей курса, чтобы можно было оценить подачу материала. Я выбрал несколько видео от каждого, и оказалось, что в целом, даже только по выбранным фрагментам уже можно чему-то научиться.

В самом деле, в итоговый список попали:
- часть лекций по математике
- пара видео про питон
- семинары про линейную регрессию и SGD
- семинар, где собирается простая нейросеть на коленке не в PyTorch, а прям с нуля ручками с объяснением, как это работает
- лекции и семинары по метрикам качества и особенностям их оптимизации и валидации моделей

Посмотрев на все это, мы выложили материалы на Stepik в виде демо курса «База ML». Так что теперь у нас есть небольшой бесплатный курс, где можно познакомиться с основными концепциями: какая математика и какой питон нужны в ML, как работают внутри ML модели на примере линейных моделей и нейросеток (в частности, как и там и там применяется оптимизация с помощью SGD), как валидировать ML модели на примере задачи регрессии. Ко всему этому еще есть тесты и задания, так что проверить себя тоже можно :)

Что будет дальше? По мере расширения нашей линейки курсов, будет больше материалов в открытом доступе. Кроме того, у нас уже сформировался длинный список дополнительных видео для существующих курсов, что-то из них тоже будет опубликовано. Так что ждите новых анонсов! Также пишите, каких видеолекций/курсов вам не хватает в открытом доступе. Подумаем, что можем сделать 🙂

У Димы Трофимова вышел хороший обзор истории с DeepSeek. Кратко и по делу, так что обязательно читаем

Никита тут опять выдал нелицеприятную базу про жизнь в корпорации. Искренность, правдивость и точность поста зашкаливает, что не просто смело, а капец как смело :) Как всегда - накидывайте в комментах свои вопросы про жизнь в корпе (можно как Никите, так и мне - я не такой смелый, но на что-то тоже готов ответить)))

Скрытые KPI – моя версия

Спасибо вам за комментарии под предыдущим постом, реально заставили задуматься и вспомнить разных ситуаций

Дисклемер: речь о корпорациях

А картинка из статьи на хабре, статью комментировать не буду, но картинка классная.

Сначала кейсы

Кейс 1
Как вы думаете, что будет если удачно показать презентацию акционеру?
Внеплановая премия на 50М рублей – как вам?

Кейс 2
Очень крепкий начальник DS-отдела тащит звездный (уникальный, имиджевый, денежный, на благо клиентам и тд) проект, визибилити на самом высоком уровне, получает грейд, звание, еще пару команд. А меньше чем через год вынужден уволиться. Почему?

Кейс 3
Регулярная оперативка у президента Банка, президент не в настроении. AI идет четвертым, последним вопросом. Шеф докладывает результаты моей команды – гробовое молчание секунд 15, вступается один старший вице-президент – “мои ребята провалидировали, все сделано грамотно”, затем второй – “а мои уже пропилотировали, работает, эффекты есть”, мы с шефом выдыхаем, президент выдает – “а для физиков когда это же сделаете?”.

Давайте попробуем суммаризировать этот опыт:

1) Больше всех в колхозе пахала лошадь, но председателем она так и не стала => визибилити очень важен

2) Если вы сделали один классный и значимый проект – вы задали планку, и у вас даже после повышения может не хватить задач / полномочий / ресурсов / гороскопа сделать что-то такого же масштаба

3) А “на радарах” надо быть регулярно, желательно либо с важной либо с хайповой темой – а фокус постоянно меняется, поэтому темы тоже надо менять – люто плюсую комментарий под предыдущим постом на тему новизны и early adopter

4) Достижения должны не убывать по значимости => правильное планирование и револьверные схемы

5) Любой манагер обучен представлять результаты своих сотрудников как свои. Как же тогда получить визибилити? Искать недооцененные темы, где шеф видит вероятность провала (и последствия там таковы что кадровые решения неминуемы – тогда он всегда сможет пожертвовать тем кто докладывал и сослаться на ошибку сотрудника, который за это был им уволен).

6) Надо уметь балансировать между стремлением “сделать нормально” и закрыть тех. долги и ростом вширь в хайповые темы. Инвестируйте в рост тоже, копать картоху можно долго

7) Решать все проблемы шефа плохая стратегия если вам не платят 100500 денег – кто же вас отпустит на повышение если вы так удобны? Если у вас хорошие отношения с начальником – значит, вам недоплачивают. Вообще залог хороших отношений с людьми – с вас они имеют больше, чем вы с них. И быть на расстоянии повышает шанс воспользоваться возможностью из п4. Здесь, как и из любого правила, есть исключение -- если вас купили с потрохами, еще и с опережением ваших запросов -- то логично честно впрячься -- такая ситуация хоть и может оказаться неустойчивой, но сулит нереально редкий баланс нервы / деньги

8) А вот решать проблемы шефа своего шефа – работающая история. Ведь стейкхолдер так похож на shareholder ;)

9) У акционера проблемой могут быть не деньги, а померяться чем-н с акционерами другой крупной компании

10) Поддержка смежников (за периметром феода вашего синьора) критически важна – более того, не раз наблюдал “десанты” из соседних подразделений – испытанная временем практика – "женишься" сам или "женишь сына" на "дочке" соседнего феодала и он перестает тебя атаковать (особенно полезно когда тебя атакуют другие, с которыми ты породниться или заключить союз не успел). Речь о приеме на работу к себе в структуру на ненизовую должность -- еще таких называют парашютистами

11) Не встревать в конфликтные темы (когда две вертикали бьются за какую-то бизнес-линию или даже зону ответственности) – они потом решение найдут, а ваша голова полетит. Паны дерутся – у холопов чубы трещат.

Итого: у всех, кто хочет расти, есть незафиксированный kpi “не реже раза в месяц/квартал -- в зависимости от левела -- доложить на уровне шеф+1 результаты, имеющие новизну, выхлоп и при этом относящимся либо к сиюминутно важным фокусам того уровня либо к жизненно-важной теме для кор-бизнеса”

Не проект

Небольшой оффтоп. Много занимаясь образованием (даже при том, что в основном вузовским и обучением взрослых людей), часто сталкиваюсь с темой детского образования. Например, в этот понедельник читал лекцию в школе.

Учащихся собрали в актовом зале, причем учеников из всех классов от 5 до 11, так что было непросто. Ну представьте, у меня еще нет адаптации лекции для 5-классника. А каков обычно ребенок в 5 классе? Он же крутится как волчок и не умолкает ни на секунду, сам таким был когда-то, помню. Вот под этот гул нужно было не терять ни мысль, ни надежду ("ха-ха" скажут в ответ на мое нытье учителя) и рассказывать мою неадаптированную лекцию. Задумался о том, чтобы сделать версию с более активным развлечением слушателя и борьбой за его внимание. Даже больше скажу: может в том и секрет гениальной лекции, чтобы даже вниманием пятиклассника суметь завладеть?

Но вообще применительно к детям, и особенно к детскому образованию, хотел задать вам вопрос, который не дает мне покоя. Часто слышу формулировку: "мой ребенок - это мой главный проект". И меня от нее выворачивает, прям физически начинает тошнить. Как и от человека, который это говорит вслух. Хочется кричать: "он не проект, он живой и его надо любить". Но это первый эмоциональный позыв. Ну и, конечно, вслух я ничего не говорю, еще бы мне родителю давать совет как воспитывать своего ребенка - суицидальных наклонностей не имею 😂

Однако если подумать, в этой фразе есть и позитивный подтекст. И я не про то, что уж хотя бы "главный" проект (это, кстати, тоже хорошая новость), а про серьезное отношение в целом. Про планирование и про попытку дать ребенку что-то конкретное и измеримое, а не продолбать все, действуя по наитию и обходясь без планов.

А вы как думаете: можно ли говорить, что ребенок - это проект, или вас тоже коробит от этой формулировки?

🥇Как стать сотрудником, с которым не расстанутся

В этот раз мы обсудим наиболее очевидный путь, позже будет продолжение с менее стандартными способами (а их много, например некоторые категории сотрудников просто нельзя увольнять)

Цель формулируется очень просто: ваша ценность для босса должна быть больше вашей стоимости как в деньгах, так и в других накладных расходах.

Значит план очень простой:
1. Узнаем, что ценно для босса
2. Максимизируем эту ценность
3. Регулярно информируем босса о всех победах

Параллельно не задалбываем слишком сильно босса своими требованиями х3 к зарплате, интересных задач и удаленки с теплых морей (тут надо научиться чувствовать). Но помним, что быть «да-чуваком» и на все соглашаться тоже не стоит. Неспособность заботиться о своих интересах принижает вас в глазах руководителя, и отношение к вам тоже меняется. Никто не любит мямлей. Кроме того, yes-guy соглашается на то, что потом не может сделать, что часто заканчивается плохо.

Если кратко - вот и все. Если чуть подробнее, вот еще комментарии по пунктам:

1. У всех в корпорации есть KPI, их максимизация обычно человеку ценна. Иногда речь не про формальные KPI, за которые дают премию, а про «понятийные», за которые босса похвалит/не уволит его босс или он сам себя похвалит - тут уж кому что важно. Чтобы это узнать, нужно общаться.

2. Скорее всего, придется работать, и это самый прямой путь. Более сложный - найти тех, кто все сделает, организовать процесс, а боссу зарепортить результат. Плюс в том, что как организатор вы можете сделать руками других людей гораздо больше. А важнейшее правило такого подхода - выбить у босса или дать в рамках своих возможностей какие-то ощутимые бенефиты тем, кто работал над задачей. Те, кто только присваивают результаты и не делятся плюшками с исполнителями, рискуют, что в их честь назовут салат 🔪🔪🔪

3. Тут все просто - не теряйтесь. Приемлемая для босса периодичность общения это дело индивидуальное. Бывает, что мелкий начальничек «не занимается микроменеджментом» и хочет видеть вас раз в квартал, а крупный предприниматель ожидает доклада каждую неделю, а бывает наоборот. Опять же, общаемся, понимаем, задаем уточняющие вопросы. Важный момент - заботиться о том, чтобы в плане работ был предусмотрен не только долгострой, но и быстрые победы, пусть и небольшие. Это создает позитивный фон, скрашивающий ожидание больших результатов.

Все написанное выше может показаться какой-то очевидностью, но стоит задать себе вопрос «а все ли из этого я делаю?», и ответ может очень удивить.

Вопрос на засыпку: почему L1 регуляризация разреживает?

Нет, я серьезно. На собеседованиях все любят спрашивать, а так, чтобы интервьюер мог показать это сам - большая редкость. Ромбики и кружочки рисовать или рассказывать про то, что производная +-1 быстрее к минимуму сходится - это в пользу бедных. Если надо, расскажу в комментариях, почему. Так кто как доказывал бы это строго?

Мне как всегда студент принёс красивое доказательство, а заодно вспомнили с Ильей Ирхиным и доказательство постарше - которое он сам предлагал, когда вели вместе DMIA. Пишите в комментах свои версии, а я потом поделюсь нашими :)

😴 Экзамены и комитеты во сне

Приснился сегодня забавный сон: я снова работаю в топ-менеджменте и что-то докладываю на заседании правления. Надо кстати сказать и выступил нормально, и прошло хорошо, но проснулся все равно с облегчением. Даже задумался: странно, что такое привычное дело и столько эмоций во сне.

К чему я это: разговорился с другом, начали вспоминать, как во сне после универа то диплом защищаешь, то экзамены сдаешь. У меня тоже такое было: я после МФТИ еще несколько лет во сне пересдавал экзамен по дискретной математике, на котором так себе отвечал и нахаляву получил от экзаменатора «отл» с пожеланием идти отсыпаться (курсе на 2 или 3).

А поделитесь в комментариях, были ли у вас подобные истории?

Python как первый язык программирования в университете

Многие изучали в университете алгоритмы и ООП на C++. Плюсы «плюсов» в этом качестве конечно понятны: учишься работать на языке, который с одной стороны достаточно выразителен, а с другой стороны не всё на свете делает за тебя. Хотя не знаю, насколько так можно говорить про современные стандарты плюсов, но все-таки. Скорость плюсов хороший довод за, если мы говорим про курс алгоритмов. Ну и эстетика языка тоже важный фактор. Помимо себя знаю много людей, у которых именно с эстетической точки зрения С++ любимый язык (правда, что характерно, все они не пишут на нем на работе😂).

Но с другой стороны, а стоит ли мешать изучение алгоритмов и принципов ООП еще и с изучением плюсов? Может в 2025 году можно уже первым языком в универе давать Python? Особенно в контексте подготовки MLщиков, не всем из которых понадобится писать плюсовый код (тем, кому понадобится, давать плюсы дальше).

Призываю вас поделиться в комментах своими мыслями. А может даже кто-то знает бакалавриаты, где обучение уже построено так? Вопрос не праздный, возник при обсуждении университетских учебных программ.

Темная правда про собесы

На днях вел заключительный вебинар у первого потока Базового ML в нашей школе MLinside, и на примере одного частого вопроса на собеседованиях рассказал очень грустную вещь про собесы и вообще рабочее общение.

Если на вопрос есть нестрогий (или вообще неправильный), но популярный ответ, а вы знаете как ответить дотошно и максимально корректно, не спешите это делать на собеседовании. Есть два варианта: вам поймут, и вас не поймут. Да-да, вас собеседует тоже живой человек, который может быть умным, глупым, бодрым, уставшим, да каким угодно. Если от вас ожидают услышать ответ, что занавески синие, потому что главный герой в депрессии, а не потому что они блин синие - возможно всем будет проще, если вы скажете то, что от вас ожидается. Что вы, сочинения в школе не писали? :)

Подвох здесь есть. Если вы неверно оценили собеседника, дав более правильный ответ тому, кто его не поймет, вы еще имеете шанс объяснить свою позицию. А вот когда пошли по пути наименьшего сопротивления и выдаете за правильный ответ широко распространенную лажу, а вас собеседует знающий спец, ну что вы ему скажете? Что думали, что он тупой? Что не хотели провоцировать конфликт? Нет, этот собес уже провален.

А вам приходилось специально упрощать ответы на собеседовании, чтобы быть понятым? Это по-вашему зло или нормальное проявление уважения к собеседнику?