Полезные задачки по временным рядам

задача Райффайзен Банка https://drive.google.com/drive/folders/1w44RkOz31J5ZF8qb3_rIkC6E2zcEv3n7?usp=share_link
https://www.kaggle.com/competitions/store-sales-time-series-forecasting
https://www.kaggle.com/competitions/demand-forecasting-kernels-only
https://www.kaggle.com/c/competitive-data-science-predict-future-sales
https://www.kaggle.com/competitions/web-traffic-time-series-forecasting/data
https://www.kaggle.com/competitions/jpx-tokyo-stock-exchange-prediction/data
https://www.kaggle.com/competitions/recruit-restaurant-visitor-forecasting/data
https://www.kaggle.com/competitions/the-winton-stock-market-challenge/data
https://www.kaggle.com/competitions/optiver-realized-volatility-prediction/data
https://www.kaggle.com/competitions/g-research-crypto-forecasting/data
https://www.kaggle.com/competitions/tabular-playground-series-mar-2022/overview
https://www.kaggle.com/competitions/godaddy-microbusiness-density-forecasting
https://www.kaggle.com/c/m5-forecasting-accuracy

Раз такая пьянка пошла - я выложил третье видео из серии "Architecture Readings". Выясняем структуру файлов в БД :) https://youtu.be/haz2h7_xFDk

АБ-тесты. Экстраполяция результатов пилота
Цикл постов про АБ-тестирование. Пост 8

За предыдущие 7 постов мы закрыли почти все ключевые риски бизнес-процесса АБ-тестирования. Но остался один важный риск, с которым мы еще не разобрались. Это отсутствие единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты.

Даже если у нас отлажены процессы дизайна и пилотирования, создана база пилотов и выработана супер корректная статистическая методика расчетов на основе последних практик, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть.

Например, вы получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.

В идеальном мире вопросы репрезентативности результатов для финальной экстраполяции результатов пилота и методика этого этапа определяются бизнесом совместно с финансовой службой еще на этапе планирования пилота. Именно эти участники процесса АБ обладают наибольшей экспертизой, чтобы определить репрезентативные параметры пилота:

- даты проведения пилота. Период пилота должен иметь длительность, рекомендованную статистическими расчетами, но при этом учитывать последующее применение пилотируемого эксперимента. Например, оптимизацию промо-акции вида Х планируется применять только на сезонные летние товары, следовательно, пилотировать тоже лучше всего в этот период, а не зимой.

- характеристики объектов в пилот и контроль. Стоит учитывать планируемую экстраполяцию результата:

(1) территориально. Если при успехе пилота, его сразу планируется “раскатать” на все объекты, тогда можно математически подобрать репрезентативную группу для всего распределения объектов. Если же планируется поэтапное внедрение (например, сначала все объекты одного региона/города, потом группы регионов), значит для первого пилота подойдут объекты, отражающие специфику конкретного города или региона.

(2) по внутренним показателям объектов (фин. и опер. индикаторы, и др.). Проект может быть направлен на убыточные объекты компании. Значит, и пилотировать его надо на них, и контроли смотреть уж точно не прибыльные.
целевые метрики пилота. Аналогично, если успехом при внедрении проекта для нас будет положительное влияние на маржу при отсутствии отрицательного влияния на совокупные продажи, значит, обе эти метрики должны присутствовать в гипотезах пилота именно в такой постановке. А если планируем эффект на пару категорий продаж, то проверять стоит на них, а не на тотал продажах.

- содержание и механика пилота. Соответствуют ли они планам по внедрению проекта, в случае успеха? Например, если управленчески работа с ценообразованием в магазинах возможна только на уровне целых городов, то, вероятно, не стоит делать выводы об успешности проекта в этой области, проведенного на гранулярности пары отдельных объектов.

Некоторые из вопросов выше могут показаться очевидными. Но на этапах дизайна пилота и финальной экстраполяции результатов пилота иметь это ввиду нужно, и задавать об этом вопросы тоже - если есть сомнения в соответствии пилота и его планируемой применимости в бизнес-процессах компании. Поверьте большому опыту практического АБ за плечами. Очевидное и невероятное всегда где-то рядом 🙂

Если все моменты выше были учтены на этапе дизайна эксперимента, то вопросы робастности результата и возможности его экстраполяции на объекты ролл-аута перестают быть актуальными. Статистически корректная методика (которую мы уже рассмотрели в предыдущих постах) гарантирует нам робастность и корректность экстраполяции результата, если пилот продуман с точки зрения содержательной постановки (бизнес-применения).

#tech #ab_testing

#softskills #courses
Интересные ссылочки для изучения

https://www.howtodeal.dev/
https://www.productmanagementtoday.com/leadership/&source=johanna-rothman?open-article-id=16195899&article-title=leadership-tip-8--stop-focusing-on-happiness---measure-satisfaction-instead&blog-domain=jrothman.com&blog-title=johanna-rothman
https://www.samuelthomasdavies.com/book-summaries/business/never-split-the-difference/
https://www.jfdperfsolutions.com/book-summary-just-listen-by-mark-goulston/
https://www.educative.io/courses/become-an-effective-engineering-manager
https://netology.ru/programs/praktika-soft-skills#/
https://virtualspeech.com/blog/crucial-conversations
https://becomingeden.com/summary-of-how-to-talk-so-kids-will-listen-listen-so-kids-can-talk/

Иллюзия знания и проверка себя.

Ситуация следующая. Изучил какую-то тему, вроде понял, повторил. А потом тебе приятель задает вопрос и выясняется, что знаешь только один поверхностный тезис.

Барбара Оакли называет это иллюзией знания. Тебе кажется, что ты что-то понимаешь или знаешь, но это ложная уверенность. Знание может быть какое угодно. Особенности развития ленточных червей, принципы работы бустинга над деревьями, насколько ты разбираешься в собственном продукте.

Что с этим делать? Быть тем приятелем самому себе и задавать вопросы во время обучения. На эту тему есть пример из жизни.

У меня в медицинском был преподаватель по физ-коллоидной химии. Его никто не любил, на пересдачи к нему ходили 70% потока и даже ходит байка, что в 90х его в подворотне поймали люди в масках по заказу студентов и попугали для смягчения поведения.

Но мне его подход ведения занятий нравился. По теме он задавал вопрос: "Что такое {название темы}". Ты отвечал определением, потом основываясь на определении он спрашивал, "а почему так происходит?" И так несколько раз, погружаясь все глубже. Запомнил только определение? Начнешь сыпаться уже на 2-3 почему и получишь двойку. Если ты не знал ответа, он предлагал сделать предположение. Однако если не разбираешься в самом предмете, разумные предположения не построишь.

Поэтому сейчас, если есть задача именно разобраться, то я устраиваю себе проверку в формате “почему так?”

Про этот метод я слышал и от своего руководителя в ординатуре. Руководитель специализируется на “бережливом производстве (Lean Production)”, а сам метод называется "Пять почему”

Еще у меня в заметках лежит цитата Вадика Мармеладова из старого видео про ЛОТ2046
“Когда у собеседника закончится почему, вот твоё проверочное слово. Вот настолько проработан твой продукт.”

#код
Демки разных методов, есть код на Python, R, Julia и Matlab. Ничего сверхполезного вроде нет, но для новичков будет в самый раз.
https://www.numerical-tours.com/

#ab #causal

Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов

Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.

Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.

Ссылки отдельно по докладам:

- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)

- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)

- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)

- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)

- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)

- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)

- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)

- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)

- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)

Ваш @Reliable ML

#tech #ab_testing #causal_inference

#dl #speech

#dl #courses

#образование
Вдруг кому-то будет полезно...
Вопросы тестов по курсу «Глубокое обучение»
https://github.com/Dyakonov/BOOKs/blob/main/DLtest_Dyakonov.pdf

#ml #dl #courses

​🏫 Шпаргалки по курсам Стэнфорда!

Вот тут собраны короткие обзоры алгоритмов и подоходов из соотвествтующих тем.
Супер-наглядный и удобный формат + нет замудрёной математики. Всё по делу.

CS 221 ― Artificial Intelligence
CS 229 ― Machine Learning
CS 230 ― Deep Learning

#dl #nlp #courses

Мини-подборка лекций по большим языковым моделям

1. Stanford cs224n lecture: Scaling Language Models
1. Full stack DL: Foundation Models

1. Пожалуй ещё более крутая ссылка от подписчика на целый курс по LM