🏁Первое мероприятие в рамках школы MLinside – онлайн-вебинар для тех, кто хочет погрузиться в Machine Learning!

Совсем недавно мы с командой анонсировали первый курс «Базовый ML» в рамках моей ML-школы и рассказали о том, кого мы ждем на потоке.

Я знаю, что большая часть моей аудитории – инженеры, программисты, аналитики, разработчики и даже проджект/продакт-менеджеры, которые хотят погрузиться в ML, чтобы применять эти знания в работе и повышать свою эффективность (многочисленные кастдевы и опросы не дадут соврать🙂). А также много тех, кто видит большие перспективы в машинном обучении, и кто хочет вкатиться в профессию ML-специалиста будучи новичком.

📌Специально для вас мы с командой организовали онлайн-вебинар, на котором поговорим о направлении ML, ваших перспективах развития в этой сфере, а также расскажем о том, какие навыки необходимы для старта погружения в ML.

Подробной информацией о вебинаре мы уже начали делиться в новой публикации канала MLinside.
Подписывайтесь, чтобы ничего не пропустить☝️

Ну а мы с командой будем ждать всех, кто готов погружаться в машинное обучение и расти в этом направлении!🤝

Тем, кто уже начал думать, чем заменить в работе Notion и Miro

Забудьте про Notion: нашёл для вас open source альтернативу — AFFiNE.

Это ультимативная смесь Notion и Miro — тут собрали лучшее от обеих платформ. Базу знаний с досками можно развернуть локально (плюс к безопасности), а можно юзать на сайте — туда уже завезли мощные ИИ-фичечки.

Как компании экономят миллиарды с помощью ML-специалистов?

🔔Именно такие кейсы, показывающие востребованность и интересность задач в ML, я разберу на вебинаре уже в эту среду (завтра!). Зарегистрироваться на вебинар можно по ссылке ниже⬇️

[ Зарегистрироваться ]

❗️Важно: доступ к регистрации на вебинар закроется 28.08 в 19:00 по Мск, поэтому не откладывайте!

На мероприятии мы:
▪️обсудим, что вы сможете делать с помощью ML, и какие реальные кейсы его применения нас окружают,
▪️поговорим о том, как найти работу начинающему ML-специалисту,
▪️разберемся, с чего начать изучение ML, и какие навыки для этого нужны.

Встречаемся 28.08 в 20:00 по мск⏰

Вебинар – отличная возможность начать погружение в ML уже сейчас👍

Вот мы и начинаем наш первый вебинар в рамках школы MLinside!

Кстати, сегодня на вебинаре мы откроем запись на первый курс, а значит, что деятельности MLinside официально дан старт🚀

Для тех, кто не успел зарегистрироваться на мероприятие, оставляю ссылку👇

[ Присоединиться к вебинару ]

Мы начинаем!

Какие профессии заменит AI в ближайшие 5 лет?🤖

В последнем видео на нашем youtube-канале я рассказал, как на самом деле работают нейросети, и пообещал поделиться своим мнением по поводу того, какие профессии находятся на грани исчезновения или вовсе исчезнуть в ближайшие 5 лет.

Про кассиров, курьеров и водителей я рассказывать не буду. Думаю, об этом итак все знают, так как тенденция замены физических работников уже наблюдается. Итак, вот мой топ профессий, находящихся под угрозой замены искусственным интеллектом👇

1️⃣ Банковские работники. Алгоритмы машинного обучения уже хорошо справляются с анализом и составлением финансовой отчетности. Но пока это касается однотипных задач. В случае нестандартной ситуации понадобится человеческий взгляд и использование накопленного опыта. В зону риска попадают и кредитные эксперты, так как ИИ уже способен посчитать финансовые возможности заемщика, вероятность задержки платежа по кредиту и так далее.
2️⃣ Программист. ChatGPT уже имеет возможность самостоятельно писать и модифицировать код на различных языках программирования. Например, корпорация Microsoft относительно недавно заявляла о сокращении штата сотрудников и инвестировании 10 млрд бюджета в OpenAI. И ожидается, что в ближайшем будущем потребность в начинающих специалистах в программировании будет снижаться.
3️⃣ Учитель. Сейчас искусственный интеллект способен объяснить непростые вещи словами любого уровня сложности. Огромным плюсом является непоколебимость эмоционального состояния. Вы можете хоть 100 раз просить объяснить один и тот же вопрос, и чат-бот будет готов отвечать вам, не выходя из себя. Хочешь, чтобы тебе объяснили высшую математику простыми словами? Или хочешь вспомнить все правила русского языка? А может, хочешь выучить иностранный язык? ChatGPT вам в помощь:) Отсюда, кстати, вытекает следующая профессия
4️⃣ Переводчик. Сейчас совершенствование систем синхронного перевода идет ускоренными темпами. Это сильно скажется на рынке занятости по всему миру. Опытный переводчик, который годами учил иностранные языки и совершенствовал свой уровень, уже будет не так востребован.
5️⃣ Медработник. Сейчас искусственный интеллект не ставит итоговых диагнозов и не дает советы по поводу здоровья, чтобы не брать на себя ответственность. Но скорее всего в будущем ИИ будет, опираясь на состояние пациента, его жалобы и анализы, все чаще помогать врачам ставить диагнозы, и возможно даже в какой-то момент серьезные решения начнут приниматься без участия врача. Рутинные задачи, которым уже можно обучить ИИ: заполнение и обработка рецептов, предоставление информации пациентам о правильном применении медикаментов, побочных эффектах, взаимодействии с другими препаратами, рекомендации альтернативных лекарств, проверка сроков годности лекарств, диагностирование ряда болезней по симптомам и уже сделанным анализам.

☝️Подводя итоги, AI в будущем способен автоматизировать выполнение рутинных задач, не требующих критического и стратегического мышления. Однако это вряд ли будет прям полноценной заменой, просто изменятся требования к специалисту: если раньше нужно было все делать самому, то теперь нужно будет уметь комбинировать работу с ролью оператора AI-решений.

Как я чуть не продолбал свою фамилию

Пару месяцев назад у меня случилась крайне неприятная вещь: я увидел в почте, что у меня закончилось время регистрации домена kantor.ai, буквально на пару дней позже истечения всех сроков 😱

Оказалось, что его уже зарегистрировал кто-то во Владивостоке 🤯

Не то чтобы я активно пользовался доменом, но я успел к нему привязаться, плюс некоторые дальнейшие планы прям совсем не стыковались с его потерей.

Что же делать?

Мои коллеги по MLinside попробовали выручить меня и связаться с новым владельцем домена, а я приготовился отвалить кругленькую сумму за перекупку домена. Но человек нам так и не ответил.

В глубине души я продолжал надеяться, что домен просто станет доступен для регистрации. И вот сегодня чудо свершилось, а я на радостях продлил домен на 10 лет вперед 😂

Вот теперь думаю, уж не маркетинговая ли это уловка была, чтобы продлевали на по-дольше 🤔

Статзначимость в А/В тестах или немного о том, зачем нужна статистика (часть 1/3)

Сейчас я заканчиваю готовить математическую часть нашего курса «База ML» (в частности, модуль по теорверу) и очень плотно работаю с вопросом «а зачем оно надо?». Топ-1 ответом на вопрос, зачем нужны теорвер и статистика в ML (да и не только в нем) по-прежнему остается проверка статистической значимости. В современном мире мы чаще встречаемся с ней в контексте A/B тестов, когда части клиентов показывают одно, части другое, и из этого эксперимента пытаются сделать выводы. В этих постах вас ждет рассказ в трех частях: 1) введение, 2) непосредственно по теме и 3) некоторые интересные моменты, которые тоже полезно обсудить. Кто знает ответы на вопросы, выделенные жирным в этом посте, могут просто пролистать его и переходить сразу ко второму.

Зачем вообще нужны А/В тесты?

Потребность в А/В тестах возникает тогда, когда мы хотим что-то улучшить. Например, взамен какого-то существующего алгоритма персональных рекомендаций товаров или старого интерфейса мобильного приложения внедрить новую версию. А/В тесты как метод отвечают на вопрос: «Как понять, что это правда будет улучшать важные для нас показатели?»

Посмотреть «стало ли продаж больше» и удовлетвориться такой оценкой нововведения — это очень топорный подход, который сработает только когда бизнес-показатели не зависят от времени и нововведение лишь одно. Обычно это не так. Бизнес растет или угасает, бывает «сезон» и «не сезон». Бывает очень много изменений за месяц, и понять, какое именно из них вызвало эффект, невозможно. Однако многие вещи в коммерческих компаниях (даже самых технологичных) и в 2024 году делаются без А/В тестирования. А еще больше — без оценки статзначимости. К А/В тестам не нужно относиться теологически, но стоит понимать силу и возможности инструмента.

Что такое статистическая значимость и A/A тесты?

Допустим, нет пока никакого нововведения, которое вы будете оценивать в А/В тесте, есть пользователи вашего сайта или приложения, и вы просто делите их на две группы и смотрите на результат в каждой (например, на конверсию посещений в покупки на сайте). Такой тест называется А/А тестом, и, наверное, вас не удивит, что даже при хорошем разбиении на группы результаты в них будут немного отличаться.

Статистическая значимость эффекта в А/В тесте, грубо говоря, означает, что различие между группами заметно больше, чем было бы в А/А тесте, т.е. «есть реальный эффект», а не случайные отклонения. Что это значит для бизнеса? То, что хотя бы при сохранении тех же условий, что и во время проведения А/В теста, эффект от нововведения с большой вероятностью будет какое-то время сохраняться (важное уточнение: эффект может затухать со временем, никто не отменял «эффект новизны»).

#математика

Статзначимость в А/В тестах (часть 2/3)

Продолжаю отбирать хлеб у лектора по метрикам и A/B тестам в нашем курсе «База ML» 🙂 (хотя если хотите разобраться подробнее - приходите к нам)

Как проверяют гипотезы с помощью статистики

Рассмотрим простой пример: мы с другом 10 раз сыграли в шахматы, и он 10 раз победил, какова вероятность такого исхода, если мы с ним играем одинаково хорошо?

Если мы одинаково хороши, шанс выиграть у каждого 0.5, значит мой шанс проиграть все 10 игр был 0.5 в степени 10, т.е. около 0.001. Выглядит как не очень вероятное событие, придется признать, что друг все-таки играет лучше. Ровно так же мы будем делать и при проверке того, что между группами А и В в А/В тесте есть статзначимые различия.


Как работает проверка статзначимости в А/В

Работает это так: предположим, что у нас есть какое-то нововведение (новое оформление, новый интерфейс, новый алгоритм рекомендаций), и мы проводим А/В тест. А вот эффекта от нововведения нет и различия между группами на самом деле нет. Это в статистике называется «нулевой гипотезой» — тем, что мы в А/В тесте в идеале хотим отвергнуть.

Предположив, что нулевая гипотеза выполняется (статистически различия между группами нет), мы можем оценить, с какой вероятностью p можно увидеть разность показателей в группах больше, чем Y (тысяч долларов выручки, например). Как это сделать? Например, взять наши данные, много раз случайно разбить их на две группы и посмотреть, в каком проценте случаев различие между группами окажется больше Y. За счет случайности разбиений, даже если эффект в вашем разбиении на группы А и В был, в новых группах его не будет (т.к. пользователи случайно перемешаются), и можно считать это хорошей оценкой вероятности p.

Если вероятность p оказалась очень маленькой, значит разница в группах все-таки существенная.

И что, всегда делать несколько тысяч случайных разбиений?

Приведенный выше пример с моделированием А/А тестов — это лишь один из используемых на практике стат.критериев — перестановочный тест (с некоторыми оговорками, но не будем сейчас вдаваться в детали). По многим показателям этот стат.критерий не самый удобный, но зато очень просто иллюстрирует концепцию проверки гипотез.

В жизни же во многих случаях можно обойтись без численного моделирования и применить какие-то параметрические стат.тесты (те, в которых распределение величины Y, если нулевая гипотеза верна, выписывается явно формулой). Например, если мы считаем, что наша величина Y имеет нормальное распределение, то можно без численных экспериментов обойтись формулами для нормального распределения. На самом деле, не совсем, надо хотя бы проверить, что распределение правда нормальное, но на этом тоже не будем останавливаться.

Главное — получить распределение Y, при условии нулевой гипотезы. Численно, либо по формуле в рамках каких-то предположений. В нашем примере с шахматами тоже использовался параметрический тест — биномиальный.

Как понять, что вероятность p «мала» и что такое p-value?

Величина p в статистике называется p-value. Перед проведением любого А/В теста фиксируют уровень значимости, например 5%, и отвергают нулевую гипотезу только если p-value оказывается меньше уровня значимости. Т.е. мы допускаем вероятность 5% сказать, что эффект есть, когда его на самом деле нет. А/В тесты, к сожалению, вещь вероятностная, поэтому «точного» ответа на вопрос «есть ли эффект» не дают, только могут подтвердить его на каком-то уровне значимости. Само p-value в русской литературе называют достигаемым уровнем значимости (не путать с уровнем значимости выше — он был порогом, с которым сравниваем p-value).

#математика

Статзначимость в А/В тестах: дополнительные вопросы (часть 3/3)

Я слышал, что p-value — это не вероятность нулевой гипотезы, что это значит?

Все верно, это известная бородатая ошибка при интерпретации p-value. P-value — это не вероятность нулевой гипотезы, а вероятность увидеть в тесте такой же «эффект» или больше, при условии справедливости нулевой гипотезы (т.е. когда эффекта на самом деле нет). От этого можно перейти к вероятности нулевой гипотезы, при условии наблюдаемого эффекта по теореме Байеса, если вдруг вы будете знать все нужные для формулы вероятности, но нужды в этом нет.

А еще я слышал, что нулевую гипотезу нельзя принять, о чем это?

В А/В тесте мы хотим отвергнуть нулевую гипотезу, посмотрев на фактические данные. Но можем не отвергнуть. Подтвердить нулевую гипотезу не можем: если нам не хватает свидетельств против чего-то, это еще не значит, что это что-то верно 🙂

Бытовая иллюстрация:
Старушка на лавочке у подъезда выбирает, как поприветствовать Васю. В качестве нулевой гипотезы она принимает утверждение, что Вася обычный парень. А в качестве альтернативы — что Вася наркоман. Чтобы выбрать доброжелательное или агрессивное приветствие, она оценивает, насколько Вася плохо выглядит сегодня. Если «еще терпимо», то заключает, что свидетельств против нулевой гипотезы не хватает и нужно приветствовать доброжелательно. В этом случае она, однако, не может быть уверена, что Вася не наркоман, т.е. принять нулевую гипотезу. Но как вдумчивая и образованная пожилая женщина, не спешит с выводами и собирает данные.

Везде выше постоянно говорилось о каком-то статистическом различии между результатами в группах А/В, которое либо есть, либо нет. А что это значит?

Вот здесь мы вступаем на территорию более сложных формулировок. Если объяснять это не на бытовом уровне, то вы сами выбираете смысл «статистического различия» при формулировке нулевой гипотезы и альтернативы. Например, если мы сравниваем средние чеки в группах А и В, то под «статистически неразличимыми» результатами мы можем иметь ввиду одинаковое матожидание среднего чека в группе А и в группе В. Это будет нулевой гипотезой. Альтернативой — различные матожидания. Есть критерии, которые в качестве нулевой гипотезы рассматривают совпадение медиан распределений или просто совпадение распределений.

А еще слышал что-то про множественную проверку гипотез? Это о чем?

Это о том, что если вы проверяете одновременно несколько гипотез на уровне значимости, скажем, 5% каждая (например, оцениваете эффект сразу и на средний чек, и на конверсию в покупку, и на конверсию в переход на страницу товара), то шанс ложного срабатывания теста хотя бы для одной гипотезы будет уже не 5%, а существенно больше. Есть разные способы учитывать этот эффект.

А всех, кто хочет погрузиться глубже (например, узнать, как быть, если наблюдения в А/В тесте зависимые, и причем здесь бакетное сэмплирование), а также познакомиться и с AB тестами, и с методами машинного обучения - приглашаю на наш курс «База ML»

#математика

И вот вы такой шарите за А/В тесты все, что написано в постах выше, приходите в компанию внедрять ML, а там так. Ваши действия?

А по-моему отличные новости. Гораздо неприятнее будет узнать, что начальство или эйчар в компании очень своеобразны, уже устроившись на работу. Путь эта практика распространяется как можно скорее 🫶🏼 Будет всё сразу понятно :)