Kantor.AI
11.6K subscribers
141 photos
12 videos
5 files
185 links
Канал Виктора Кантора про Data Science, образование и карьеру в сфере анализа данных. По вопросам сотрудничества: @mariekap

РКН: 5140322136
Download Telegram
Мы так однажды с Никитой (автором поста ниже) поспорили, как считать в рекомендациях precision@k, когда кандидатов меньше k. Никита топил за реализацию в катбусте, потому что читал исходники, а я топил за деление на k, потому что привык, что по графикам precision@k и recall@k можно базово прикинуть адекватное вашему случаю количество рекомендаций в блоке или найти проблему типа нехватки кандидатов: если в какой-то момент precision@k начинает сильно падать просто потому что вместо 5 рекомендаций у вас повально 2, это проще заметить.

В итоге, изучив другие источники, Никита, с нотками досады признал правильным мой вариант, хотя логика в катбустовой реализации конечно тоже понятна - не штрафовать, если лучше уже нельзя было отранжировать. И если честно, я бы не был здесь так категоричен в вопросе «как правильно». Смотря чего вы хотите: включать измерение качества кандидатов в метрику или нет. Но главное, что так мы с Никитой узнали, что нам есть о чем поговорить, кроме слайдов в Power Point, и это было прекрасно :)))
1😁10🔥5
Все же здесь DS и знают базовые метрики?
Precision?
Precision@k?
А ничего вы не знаете, канальи! 🙈

Прошло пару лет как коллеги со светлой стороны Сбера выпустили свою замечательную статью на NIPS, примечательную такой картинкой

Про то как в разных recsys либах метрики считаются по-разному 😱
Но хотя бы precision@k вроде одинаково? Или нет? 🤔

Рассмотрим угловой кейс – на что делить, когда кандидатов сгенерилось меньше k? 🤓

Правильный ответ здесь– делить на k !!!!
Институт NIST– National Institute for Standards and Technology распространяет код как считать правильно 🥳

На для catboost закон не писан – он делит на число кандидатов 🤬😡🥵

Будьте внимательны! Или перепроверяйте за пакетами или считайте сами!
111🔥7🤯3
Что человеку хейт - то сетке кликбейт

С перспективами все большего применения генеративного ИИ для написания текста и рисования картинок для рассылок (что уже итак часто происходит) возникает очевидный риск того, что кликбейт нас всех захлестнет.

На одной стратсесии крупного холдинга, где мне посчастливилось выступать, ведущий выдал замечательный по своей понятности для широкой публики тезис: «у ML моделек нет совести». Не вдаваясь в подробности прививания моделям моральных ограничений и в прочий AI alignment, имелось ввиду то, что для оптимизации лосса все средства хороши, если дают результат.

Для примера посмотрите на рассылку Литрес в аттаче. Её конечно наверняка делал человек, но она 100% достаточно высококонверсионная: ведь сама идея того, что бедного Драйзера из-под земли достали, чтобы написать новую книгу, нет-нет да и заставит посмотреть письмо. Безотносительно того, что понятно, что имели ввиду маркетологи из Литрес, сетки будут использовать такие «крючки» еще более агрессивно.

С другой стороны, может и хорошо? Интересный спам это интереснее, чем неинтересный, как вы считаете? 😁
😁281👍1
Всех с наступившим 🎄🥂 Надеюсь, празднования у всех прошли хорошо и еще продолжаются :)

Я никогда не подводил итоги года публично (по крайней мере этого не помню), да и в целом не очень люблю читать чужие. Не знаю почему, может потому что слишком приторно, может от зависти. Но в этом году мне захотелось попробовать. Если понравится - вам хана, буду повторять каждый год, придется отписываться. Так что у читателей есть шанс насовать мне ценного фидбека в комментах и предотвратить непоправимое.

В прошедшем году я:

1) Успешно доработал свой срок в топ-менеджменте (да, там все по срокам, которые идет вестинг акций, расскажу как это обычно устроено в будущих постах), получил продление контракта, но решил попробовать в предпринимательство, вдохновившись примерами Толи Карпова, Димы Волошина и Леши Драля (у каждого своя школа в своем формате и каждый по-своему преуспел в этом деле). Благо после работы в топах предпринимательствовать немного спокойнее. Ну, пока деньги не кончатся)

2) Открыл наконец-то свою школу ML после 14 лет преподавания в вузах, компаниях и на курсере, запустил первый поток первого курса, telegram- и youtube-каналы школы

3) Вылечил отца от рака. Ну, разумеется, до определенной степени (пока не загадываем, но очаг удален, лучевая пройдена, пока показатели тьфу-тьфу хорошие). И, конечно же, не я лично вылечил, тут спасибо большое профессионализму врачей Медси, с меня были сугубо организационные моменты. Но отец уже прожил на 5 лет дольше деда с той же болезнью и, дай Бог, еще поживет :) И это, конечно, самое радостное событие года.

В этом году я надеюсь, что мне не придется никому помогать с лечением от страшных болезней, ну а если придется, то все снова получится. Ну и надеюсь, что я не сгорю от хейта в комментах и дотащу в этом году школу до 10+ классных курсов и еще нескольких крутых проектов и обучений в компаниях :) Все же за что взялся - хочется довести до ума, чего и вам всем желаю во всех дорогих для вашего сердца начинаниях 🤝

С Новым годом ❤️☃️
52196🎉27❤‍🔥12👍9🔥4💯1
Компенсации в топ-менеджменте (часть 1/3)

Сразу предупрежу: конкретные суммы я называть не буду, т.к. по себе или знакомым совершенно не заинтересован ничего разглашать, а в достоверности других источников не могу быть уверен. Кстати, это один из способов психологического давления в корпоративной среде - капать оппоненту на мозги (можно через друзей, чтобы не так очевидно) рассказами про гигантские вознаграждения его коллег, конечно же, в 99% случаев выдуманные. Так что не верьте всему.

Однако я расскажу, из каких частей состоит вознаграждение топов, как выплачивается, и на что это влияет. Думаю, что тем, кто этого не знал, будет все равно интересно. Что касается сумм, есть прекрасные журналы Forbes, РБК и другие им подобные, которые профессионально считают чужие деньги, в их материалах периодически встречаются исследования рынка.

💵 Зарплата

Есть три (ну ладно, четыре) части компенсации: зарплата, STI, LTI и всевозможные льготы. Первое нам всем итак знакомо, а по размеру могу сказать, что есть две школы мысли: первая - что у руководителя должна быть самая большая зарплата в его подразделении, вторая - что можно нанимать сотрудников на бОльшую зарплату, чем у тебя, если так уж рынок порешал. Я сторонник второй школы мысли, потому что в современных реалиях цена хороших CTO или CDS растет быстрее зарплат сидящих десятилетиями в одном месте корпоративных менеджеров. Кроме того, зарплата сильно разнится от компании к компании: большая группа компаний типа Сбера и какой-нибудь заметный игрок в своей нише, но развивающийся просто под продажу стратегу, - это конечно две разные истории.


🏆 Премия

STI или Short-Term Incentive - краткосрочное поощрение (дословно "стимул"). На западе так называют и квартальный, и полугодовой, и годовой бонус. У нас обычно также, но иногда могут быть заигрывания с годовой премией, как будто это уже "долгосрочная" мотивация. Например, часть годовой может расчитываться как-то стабильно и по KPI, а часть быть привязана к какому-то общему показателю бизнеса и косплеить бонус акциями. Но в случае топов обычно есть просто одна премия, которая платится раз в год, и она расчитывается и по вашим KPI, и по показателям компании. В целом как у всех сотрудников, с тем лишь отличием, что на грейдах ниже выплаты чаще - раз в квартал или раз в полгода.

Связано это с тем, что работа высоких грейдов и, в том числе, топов, оказывает долгосрочное влияние, и логично измерять результат по более долгому периоду времени. Также, если для низких грейдов премия может отсутствовать или быть в размере 1-2 месячных зарплат, у топов премия может составлять 50, 100 и более процентов годовой зарплаты. Объясняется это тем, что премию вы получаете только доработав год до конца, так что перекос годового дохода в сторону премии дает великолепный рычаг давления на вас и кратно растит вашу заинтересованность показывать чудеса проактивности и заинтересованности в общем деле.

В следующей части поговорим об LTI и прочих плюшках, а в комментариях пишите, о чем еще рассказать про C-level

#c_level
Please open Telegram to view this post
VIEW IN TELEGRAM
👍67👎1510🔥7💩2😁1🙏1
Компенсации в топ-менеджменте (часть 2/3)

Продолжаю рассказ про то, как оплачивается работа топов. В прошлый раз мы поговорили про зп и STI, теперь остались LTI и льготы.

‼️ Кстати говоря, текст может быть полезен не только тем, кто уже метит в топ-менеджмент. Аналогичная схема вознаграждения распространяется по компаниям все больше и часто применяется просто для высокогрейдовых сотрудников. Общая идея здесь в том, что компании все равно выгодней платить вам деньги не большим фиксом в месяц, а разбив сумму на зп+STI+LTI. Также не стесняйтесь задавать вопросы в комментариях.

📈Акции

LTI или Long-Term Incentive - долгосрочная мотивация. Обычно это какая-то большая сумма сумма денег, выдаваемая либо напрямую в виде акций компании (если компания публичная, т.е. торгуется на бирже), либо в денежном выражении, но так, чтобы фактическая сумма была привязана к показателям компании (всякой там ебитде, гросс марже и прочим ругательствам - у кого к чему).

В случае топов эта сумма может быть сравнима или даже заметно больше, чем зарплата+премия, но она распределяется на 3-4 года. Это называют вестингом акций: они за вами уже закреплены, об этом подписаны все документы, но получаете вы акции постепенно. Есть компании с равномерным вестингом - например, 25% каждый год из 4 лет, есть компании с неравномерным - например, в первый год поменьше, второй побольше, а на третий прям много. Смысл неравномерности опять же в том, чтобы в будущем перед вами всегда был большой куш, который вы захотите заработать.

Этот куш имеет и обратный эффект: чтобы его получить, люди готовы проявлять чудеса осторожности и не вступать лишний раз в конфликты, что приводит к довольно медленному решению вопросов. Исправляется эта проблема просто: топ-менеджеров достаточно легко увольняют. Т.е. если вы весь такой аккуратный выживальщик и нигде не идете на активное нанесение добра компании, чтобы избежать конфликтов, это будет видно. После пары сигналов от руководства вы все равно попрощаетесь и с работой, и с бонусами, ведь над вами есть еще СЕО, который финансово заинтересован в результате. С другой стороны, если вы побежите с шашкой наголо ломать все, что работает - прогноз вашей выживаемости тоже обычно неутешительный.

🥇Льготы и прочие плюшки

Тут уже зависит от корпоративной культуры, и кто во что горазд: кабинеты, служебные машины, водители, ассистенты, вторые ассистенты, премиум ДМС и так далее и так далее. Мое мнение - кабинет это довольно удобно, когда у тебя миллиард встреч в неделю, личный ассистент это тоже удобно, когда календарь сложный. Лично для меня играть в тетрис с календарем всегда было сложнее, чем любой этот ваш машинлернинг или даже теорфиз.

Остальное зависит от рода деятельности. Если вы управляете каким-то бизнесом компании, где нужно много ездить по другим компаниям на переговоры, здорово, если вас возят. Если весь день сидите в одном здании, то вообще пофиг. Кстати, иногда вместо водителя и машины люди просто предпочитают компенсацию такси.

Кроме того, вы удивитесь, как много топ-менеджеров ездит на метро. Когда ты топ, опоздать на встречу, стоя в пробке, - часто непозволительная роскошь. А метро внезапно прогнозируемое и надежное 🙂

Что касается ДМС, многие на этом уровне уже привыкли ходить к врачу заранее, а следовательно платить за медицину сами. ДМС предполагает, что уже есть жалобы, а премиум ДМС просто включает в себя топовые клиники или топовых врачей в них, но как и обычный ДМС не покрывает какие-то серьезные необязательные операции, улучшающие качество жизни. Так что радикальных отличий от обычного ДМС здесь нет, просто пакет услуг и выбор врачей шире.

#c_level
🔥4217👍12👎1
Компенсации в топ-менеджменте (часть 3/3)

🏎 Чем обусловлены компенсации топов

Важно понимать, что топам платят приличные деньги не потому что они такие офигенные и самые гениальные люди на свете, а потому что у них нет и не может быть отговорок. Сам ты себе помешал или какие-то обстоятельства непреодолимой силы - никого не волнует.

Топ-менеджер берет ответственность за достижение результатов бизнеса, за это и получает свою компенсацию. В зависимости от степени успеха или провала, ее часть или вся сумма целиком может умножиться на ноль (или что-то от 0 до 1+).

Конечно, в минус компенсация не уйдет: в этом отличие топа от предпринимателя, и это объясняет, почему предприниматель все равно заработает значительно больше топов (если мы говорим об одной и той же компании, и она уже достаточно велика, в маленьком стартапе всякое бывает).

Однако топ-менеджмент это все равно крайне высокий уровень ответственности за бизнес, высокий уровень рисков, и другая вероятность "не вывезти" и покинуть корабль досрочно. Кроме того, желающих поработать на C-level всегда много, конкуренция высокая, и чтобы удерживаться даже год-полтора нужно не просто справляться, а не попасть в список "отстающих" на фоне коллег.

Легче всего с этим справляться, если у вас есть некоторая устойчивость к постоянному стрессу, внешней оценке и соревнованию с другими, и вы можете просто делать то, что считаете правильным для компании. Если же вы от подобного давления будете постоянно дергаться, работа в топах запомнится вам надолго)))

Конечно, все не так прям бескомпромиссно жестко. Желающих работать на C-level и правда много, а внушающих доверие CEO и совету директоров как правило меньше. Поэтому, если увольнять управленцев за любой просчет, никаких кадров не напасешься. Но и гладить по головке и заботиться о вашей мотивации уже, конечно, никто не будет.

Итого: внутренняя мотивация - это база, отвечать головой за результат - это база, уметь отбивать нападки недовольных оппонентов (например тем, что вы делаете то, что считаете нужным вы, а не они) - это тоже база, ну и уметь быстро принимать решения, за последствия которых вам отвечать - тоже, конечно же, база. Все это по-хорошему начинается уже с любого руководящего уровня, но в экзекьютивах достигает своего пика.

#c_level
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥1911👎1
Вопрос на засыпку: все ли понимают причину такой дипломатичной формулировки в статье? Не про «не хотели обижать мэтра», а именно почему не хотели и ни в коем случае нельзя было? :)
🔥3
Продолжая тему культуры аппрувов и самостоятельности
Часто она идет вкупе с уважением к авторитетам, и на сей счет есть кейс, который каждый год (аж два) рассказываю студентам на модуле графовых нейронок в магистратуре физтеха.

Когда опубликовали идею attention, ее сразу же начали пытаться добавлять всюду – и стороной не обошли и графовые свертки.

Итак, 30 октября на архив выкладывают короткую статью Graph Attention Networks. Все бы ничего, но в авторах есть сам великий Yoshua Bengio 🥸!!!

И реализацию статьи добавляют в прекрасный Pytorch Geometric под именем GATConv.

Все бы ничего, но работает эта штука не то чтобы очень.
А все почему? Attention реализовали в виде линейного слоя после линейного слоя 😆😆😆😆. Да, без нелинейности между ними 😂😂😂 А чему учат на первом занятии по DL? Тому что два линейных слоя подряд – снова линейный слой!

Лишь спустя 4 😱 года — в 2021 — на архив выкладывают статью с аккуратным названием How Attentive are Graph Attention Networks?, где ни в коем случае не утверждается что мэтр с командой ошиблись.

Только посмотрите на образец дипломатичной формулировки:
However, in this paper we show that GAT computes a very limited kind of attention: the ranking of the attention scores is unconditioned on the query node. We formally define this restricted kind of attention as static attention and distinguish it from a strictly more expressive dynamic attention

Опытные ребята! 🏆

Исправленную графовую свертку с вниманием назвали не мудрствуя лукаво GATv2Conv. 😄

И если на собесе забудете формулу KQV-attention (которое self), расскажите эту историю про другой механизм реализации идеи внимания, посмеетесь вместе с интервьюером 😁
🔥15😁73👍3
#c_level Про болтовню и болтунов

Самая сложная часть работы, когда весь ваш календарь превращается в сплошные встречи (а на C-level часто так), это отсутствие х2 скорости речи, как на YouTube, люди, втирающие какую-то дичь, и люди, не отвечающие прямо на поставленный вопрос и старающиеся все заболтать

Причем как настоящий переговорщик получает от процесса переговоров не меньше удовольствия, чем от успешного их завершения, а настоящий продавец - от процесса продажи, настоящий любитель поболтать тоже воспринимает процесс как прекрасный танец в котором ему одно удовольствие исполнить главную партию. Если вам нужен сугубо результат, а надавать болтуну по щам вне зоны ваших полномочий, пытка неимоверная

В какой-то момент я начал развивать терпение по принципу «представьте, что вы психиатр». Как это? А вот так: если кто-то бодро забежит к вам в кабинет на четвереньках, надо не кричать «ты больной?», а вкрадчивым голосом интересоваться: «ой, а кто это тут у нас, собачка или кошечка?». И внезапно люди, несущие ахинею на совещании становятся очень интересными, ведь там свой волшебный мир, ждущий своих исследователей :)

Как натренировать этот навык? А очень просто, либо ходите на совещания, если их уже достаточно для антропологических целей, либо подписывайтесь на телеграмм-каналы и читайте иногда. Нет, это не прогрев, серьезно, знаете сколько всего интересного пишут. Если вам нужен навык «я видел некоторое говно» - интернет и телега в частности вас точно не оставят в беде
😁95💯27❤‍🔥116👍6🍾2😭2🏆1
Знаете, что такое чистое счастье? Вот вы вывели формулу, проверили, она работает - это счастье. Вы написали код, запустили, он работает, проверили - правильно работает. Вот это и есть чистое счастье.

Никаких вопросов как на работе в духе «а я ли эту формулу сейчас вывел или это команда затащила вопреки моему косорукому участию?». Или «а правильно ли я реорганизовал подразделение, может только хуже сделал?».

Да, есть вопрос, а нужна ли была эта формула или этот код. Но обычно даже этот вопрос терзает на порядок меньше предыдущих.

Когда можешь измерить результат, когда видишь его своими глазами, когда получил его своими руками, когда результат получен логически строгими шагами - это запредельное счастье.

Поэтому, например, мне нравится преподавать вживую, а не только записывать лекции. Спросят что-нибудь, например попросят вывести формулу, на которую ты 5 лет болт кладешь и даже не думаешь разбираться, не знаешь как ответить, пошел - разобрался. Сначала сам. Получилось - восторг, если прям сразу как спросили получилось - вдвойне восторг. Не получилось - ищешь наводки. Не смог с наводками - ищешь ответ, разбираешь ответ. Немного с привкусом разочарования, но все равно счастлив, теперь же знаешь, как оно.

Когда такого счастья в жизни становится маловато, обязательно кто-нибудь из студентов подкинет :)

А если пост наберет 100 реакций, запощу несколько моих любимых вопросов и ответов с занятий в канал.

#преподавание
👍19430💯13🔥9
Media is too big
VIEW IN TELEGRAM
Тем временем подкаст ТехТок возвращается после новогодних праздников :) Завтра выпускаем интервью с Сергеем Марковым про GenAI. Кстати, с момента записи интервью у Сергея уже вышла его книга, так что можно почитать электронную версию и даже заказать печатную: https://markoff.science/#book
👍26🔥10🎉6
Интервью с Сергеем Марковым про GenAI в подкасте ТехТок

Таймлайн:
00:00:00 - Начало
00:03:55 - Кратко о расцвете генеративных моделей
00:09:58 - Важные достижения ДО выхода ChatGPT
00:13:05 - Как учили первые Российские генеративные модели
00:16:51 - Почему пальцы проблема и разнообразие датасетов
00:21:41 - Различия подходов к генерации и специализация нейросетей
00:31:16 - Мультиагентные среды
00:36:15 - Написание промтов и правовые вопросы
00:46:16 - Регуляторные механизмы и вотермарки
00:50:07 - Диффузионные модели vs авторегрессионные
00:54:47 - Генерация видео (по состоянию на 2024 год)
00:59:49 - Важные задачи в GenAI
01:04:29 - Трудности разработки русскоязычных моделей

YouTube: https://youtu.be/4Cxk3gYuGo0?si=Wvi7sZqEEGzhN-RM
VK видео: https://vkvideo.ru/video-228552366_456239024
👍187🔥5💩2
Попросил тут ChatGPT сгенерировать вопросы по ML, теперь дрожу от ужаса, что скоро нас заменят 😭
😁103🔥3😱32🤔1🙏1😭1
#образование Про платный и бесплатный контент

Давным-давно, когда мы с Эмели Драль впервые пробовали продавать корпоративное обучение по Data Science (вероятно лет 7-8 назад), я спрашивал совет у одной очень матерой пиарщицы про то, как вообще выходить на рынок, где можно и нужно засветиться, ну и вообще какими мыслями может поделиться.

Первый её совет был такой: сначала позаботьтесь о том, чтобы ваша конверсия не срезалась невозможностью у вас что-то заказать. Вот если у вас есть лендинг, нужно чтобы все кнопки «заказать» там 100% работали, все указанные почты читались, ответы были оперативными и т.д. Только после этого имеет смысл приводить какой-то трафик. Банально? До безумия. Но конечно я миллион раз и сам косячил в этом и за другими замечал.

Наш курс Data Mining in Action проводился девять лет и был бесплатным для слушателей. Каждый набор к нам кто-то подходил и говорил: «Вы неправильно живете, что не берете деньги за это!». Мы не только не брали, мы еще и сами вкидывали свои, чтобы были материалы, чтобы был выпускной, много для чего. Привлекали некоторое финансирование от компаний-партнеров, но существенно меньше общего бюджета.

И вот мне это начало самому надоедать, потому что часто не хватало денег чтобы удерживать людей в проекте. Это же не чисто моя благотворительность, это была еще и благотворительность наших препов. А всем рано или поздно начинает не хватать времени. Со специализацией на Coursera была отчасти похожая история, но уже чуть получше. Да и просто честолюбие потешить тем, что на каждой второй встрече говорят, что учились по твоим лекциям, уже дорогого стоило ))

Но в итоге мое возвращение в массовое образование в прошлом году помимо преподавания в МФТИ и ВШЭ ожидаемо включило в себя запуск коммерческой онлайн-школы ML. Тут конечно я сразу оценил контраст между тем, когда что-то раздаешь людям бесплатно, и когда продаешь. В первом случае тебя все благодарят, а во втором орут, что «Буратин теперь в ML гонят».

Но и в возможностях для организации тоже контраст крутой. Теперь видосы красивые, обратная связь быстрая (на фоне того что было на бесплатном курсе - безумно быстрая), домашки проверяются, даже видосы на канале школы на YouTube периодически залетают. Ну а люди, которые осмысленно заплатили за курс, ходят на занятия и делают домашки, да и даже если не всегда делают, оказались очень приятной и благодарной аудиторией, с которой огромное удовольствие работать.

Если вы думаете, что я хочу сказать «нафиг бесплатное образование», не спешите с выводами. Оказалось, что полезные бесплатные материалы это база маркетинга в современном массовом образовании. Сначала к вам долго присматриваются по роликам на ютьюбе или выложенной pdf с учебником, а потом в какой-то момент решаются уж пойти и серьезно поучиться. Поэтому сейчас у меня новый заход в создание бесплатных материалов, видеолекций и курсов. И об одной такой вещи я расскажу вам здесь на днях. Изменилось только одно - теперь не режу конверсию тем, что ничего нельзя купить, как 10 лет назад :))) Можно, уже как минимум два курса есть в MLinside и еще несколько на подходе.
👍42🔥1810😁3
Первый бесплатный курс MLinside

Мы опубликовали на Stepik наш первый бесплатный курс (он же демо платного) - https://stepik.org/users/984760246/

Первым (коммерческим) курсом в MLinside был базовый курс ML. Не то чтобы мало на свете введений в ML. Для меня, например, после 15 лет преподавания, гораздо более интересный курс это ML в бизнесе, который мы тоже уже стартовали в MLinside, и где рассматриваем стандартные задачи, решаемые в компаниях. Но сработал тот же принцип несрезания конверсии, о котором я рассказывал в прошлом посте: вот придет кто-то на ML в бизнесе, поймет, что пока рано, и много чего из базы непонятно, а без базового курса и идти некуда 🙂

Первый поток мы набрали очень быстро, и с головой погрузились в проведение курса. Но в какой-то момент стало понятно, что поток закончится через 6 месяцев, отзывы от самых быстрых студентов пойдут через 3-4 месяца, и все это время не публиковать никакой информации о «Базе ML» будет как-то опрометчиво.

Решением стала публикация отдельных лекций в открытом доступе. Подписчики нас попросили выложить примеры лекций всех преподавателей курса, чтобы можно было оценить подачу материала. Я выбрал несколько видео от каждого, и оказалось, что в целом, даже только по выбранным фрагментам уже можно чему-то научиться.

В самом деле, в итоговый список попали:
- часть лекций по математике
- пара видео про питон
- семинары про линейную регрессию и SGD
- семинар, где собирается простая нейросеть на коленке не в PyTorch, а прям с нуля ручками с объяснением, как это работает
- лекции и семинары по метрикам качества и особенностям их оптимизации и валидации моделей

Посмотрев на все это, мы выложили материалы на Stepik в виде демо курса «База ML». Так что теперь у нас есть небольшой бесплатный курс, где можно познакомиться с основными концепциями: какая математика и какой питон нужны в ML, как работают внутри ML модели на примере линейных моделей и нейросеток (в частности, как и там и там применяется оптимизация с помощью SGD), как валидировать ML модели на примере задачи регрессии. Ко всему этому еще есть тесты и задания, так что проверить себя тоже можно :)

Что будет дальше? По мере расширения нашей линейки курсов, будет больше материалов в открытом доступе. Кроме того, у нас уже сформировался длинный список дополнительных видео для существующих курсов, что-то из них тоже будет опубликовано. Так что ждите новых анонсов! Также пишите, каких видеолекций/курсов вам не хватает в открытом доступе. Подумаем, что можем сделать 🙂
31👍20🔥14
У Димы Трофимова вышел хороший обзор истории с DeepSeek. Кратко и по делу, так что обязательно читаем
👍7🔥3👎2🙏1
Forwarded from D_PEOPLE [Trofimov]
Вы просили про DeepSeek - ситуация вкрай запутана🤔

Полный обзор всего загадочного и странного в этой истории по порядку:

1️⃣Начнем с того, действительно ли DeepSeek R1 лучше ведущих закрытых моделей - нет..

Да, он хорош, но по бенчмаркам на уровне o1 от OpenAI без какого-то превосходства, да и по ощущениям (я пользую и ту и ту) на обычных жизненных задачах модели очень близки.

Но все равно успех DeepSeek удивителен, мы еще забываем про V3, которая ранее превзошла GPT4o и Claude 3.5⭐️⭐️⭐️

А еще DeepSeek лучше всех справилась с “последним экзаменом человечества" - тестом из 3 тыс. вопросов, большинство из которых составлялись учеными⚡️⚡️⚡️

Все модели🤖: Gemini от Google, Claude от Anthropic, Grok от xAI, 4o и o1 от OpenAI и DeepSeek R1, - этот тест провалили, не набрав и 10%, но..

R1 получила 9,4%, а o1 всего 9,1% при том, что R1 не работает с картинками и такие вопросы пропускала

2️⃣В чем же тогда поднявшийся ор?..
DeepSeek ворвалась в лидеры менее, чем за год, а еще ее модели открытые и бесплатные (говорят, халява на R1 до 8го февраля)💸

+ китайцы сделали хитрый ход, забрав полрынка разрабов — API DeepSeek’а на 100% совместимо с библиотеками OpenAI, т.е. для миграции нужно просто удалить платный API от OpenAI и вставить бесплатный от DeepSeek’а🤣🤣🤣

3️⃣Самое большое влияние на этот разгон в стратосферу оказала инфа о том, что обучение R1 в 20 раз дешевле..
Давайте разбираться..

Во-первых, есть мнение, что DeepSeek перенял наработки от Llama после ее мощного рывка в 2024м, когда она вынесла всех по бенчам и сделалась открытой..

Если это так, то тогда с какого момента считать стоимость обучения и что там в ядре на L0 (выложил в комменты уровни обучения моделей)?.. Если там Llama - тогда ясно, почему DeepSeek такая “дешевая”🗡

Во-вторых, мы не знаем как и для чего учили модель..
Учитывая, что превосходство R1 не особо ощущается, может ее и учили на бенчи с арены - у всех “производителей” моделей эта практика стала нормой👍

А еще DeepSeek финансируется китайским хедж-фондом High-Flyer💸, основанным Лян Вэньфэном, а что важно финансистам? Чтобы модель стоила поменьше, а эффект от нее был побольше.. А что значит побольше? Шаг к AGI? Нет, конечно.. Качнуть рынки?.. Возможно🤙

В-третьих, сразу за взлетом R1 всплыл факт😁

Альтман почувствовал неладное - его беза узнала, что связанные с DeepSeek лица выкачивали через API OpenAI данные, обходя ограничения😈 По сути o1 учила R1💳

..OpenAI и Microsoft инициировали расследование, но доказательств никаких нет🔥

Т.е кто-то в OpenAI слил что нужно в DeepSeek, а DeepSeek с самого начала была “заточена” на низложение OpenAI.. Забавное свидетельство в конце поста))))

4️⃣Вернемся к “качнуть рынки” - чем обусловлено крушение рынка и антирекорд NVIDIA: -12% и -400 млрд $ за сутки?..

Да ничем - чем выше хайп в ИИ, тем меньше новости и колебания рынка связаны с реальностью🥳

Рынок среагировал на x20 меньшую стоимость обучения R1, и типа все эти уже трлнные инвестиции в строительство мега-ИИ-кластеров не оправданы😳

Но обучение базовых моделей, думаю, забирает не больше 5% этих огромных мощностей.. Остальное тратится не на инфраструктуру для обучения таких моделей, а на инференс, т.е. вычислительные мощности для запуска тысяч ИИ-агентов для миллиардов людей, добавьте туда мультимодальность (обработка видео, голоса, изображений, логические размышления, растущий контескт и работа с памятью) - потребность во всем этом в эру агентности будет только расти📈

Поэтому, уверен, ребята из фонда, финансирующего DeepSeek, успели закупиться “дешевой” NVIDIA🧠

PS Ну и обещанная бомба)) Когда я писал пост, вспомнил слайд с презентации Microsoft в мае 2024, на котором показана эволюция GPT, где каждое поколение сравнивалось: GPT3 с акулой, GPT4 с касаткой, GPT5 с огромным китом.. (см. картинку☝️)

А теперь гляньте на лого DeepSeek’а))) мать его гребаный КИТ😂😂😂

Все не просто так, и не ждите более в индустрии ИИ честной игры..

PPS пару дней назад вся база запросов пользователей DeepSeek “утекла” в сеть - во всем виноваты хакеры😀

Все свидетельства изложенных фактов в комментах👉))

ЧИТАТЬ D_PEOPLE
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
30👍21🔥11👎8💩4😁2
Никита тут опять выдал нелицеприятную базу про жизнь в корпорации. Искренность, правдивость и точность поста зашкаливает, что не просто смело, а капец как смело :) Как всегда - накидывайте в комментах свои вопросы про жизнь в корпе (можно как Никите, так и мне - я не такой смелый, но на что-то тоже готов ответить)))
🔥14