#interesting #courses
Один молодой человек прошёл в РЭШ и делится конспектами

https://yk4r2.notion.site/NES-904652a4e94945a2b2a81be03f3c9ea7

#ml #ab
Ноутбук по A/B-тестам

https://www.kaggle.com/code/kartushovdanil/a-b-test

#ml #speech
Крутой бот от Сбера для расшифровки аудио

@smartspeech_sber_bot

Проектируем сервис: поиск организаций по картам

Частью жизни middle-разработчика и выше является проектирование сервисов. На собеседованиях эта секция называется system design interview. В рамках проектирования нужно уточнить требования к сервису и ограничения, оценить возможную нагрузку, выбрать те или иные технические решения.

В видео FAANG System Design Interview: Design A Location Based Service (англ) проектируют сервис поиска ближайших организаций по картам. Требуется регистрация организации (классический CRUD) и поиск ближайших для заданной геопозиции (вернуть все организации в заданном радиусе). Условия — 200 млн организаций на карте и 100 млн пользователей, генерирующих в день по 5 запросов каждый. Сможете по этим данным прикинуть объём диска для хранения будущей БД?

Автор подробно рассматривает способы хранения точки на карте для быстрого поиска ближайших — geohash и quadtree.

#skills #youtube

#career
Матрица компетенций

исходя из многих отзывов проходивших, матрица в минималистическом варианте похожа на такую:

трейни-джун:
- ничего не знает про дизайн
- знает алгоритмы и пишет на языке вменяемо (знает паттерны, выносит абстракции итп)
- общаться с кандидатом не напряжно

мидл (4 левел по грейду): все то же, что для джуна плюс
- может в дизайн немножко, знает системы с которыми работал на достаточном уровне
- есть кейсы решения бихейв ситуаций с правильным (ожидаемым) подходом

синьор (5 левел): все то же, что для мидла, плюс
- может в дизайн хорошо, задает правильные вопросы, правильно выявляет потенциальные проблемы
- есть потенциал к лидершипу и успешный опыт кроскомандного взаимодействия

#career
Матрица компетенций в Dropbox

https://dropbox.github.io/dbx-career-framework/

#math
Кому вдруг захотелось получить математику

МАТЕМАТИЧЕСКИЕ КУРСЫ НА STEPIK

https://stepik.org/course/95/syllabus - Основы мат.анализа функции одной переменной (последовательности, пределы, производные, интегралы). В основном несложный курс, иногда решаю за 5-15 минут одну-две задачи из него в качестве зарядки по утрам, когда после сна не получается сразу заставить мозг запуститься на полную. Некоторые задачи, однако, заставляют подумать подольше. Например, некоторые задачи на эквивалентность функций и на замечательные пределы (если решать честно, без рядов Тейлора). Из лекций можно вспомнить основные определения и теоремы.
https://stepik.org/course/126/syllabus - Основы теории графов (связность, паросочетания, раскраски, планарность). Несложный курс, но полезный чтобы периодически освежать память о том, что было в универе. Тоже решаю задачи из него как разминку по утрам.
https://stepik.org/course/326/syllabus - Мат.статистика, курс посложнее (выборки, точечные оценки, доверительные интервалы, стат.гипотезы, стат.критерии, регрессия). 1-2 модули показались мне не очень сложными, но начиная с доверительных интервалов начала уже застревать на задачах. К счастью, под задачами есть комменты, из которых можно почерпнуть подсказки, как и чем воспользоваться для решения. Хочу добраться до стат.гипотез, полезная тема.
https://stepik.org/course/104/syllabus - Введение в теоретическую информатику, БОЛЬШОЙ КУРС ДЛЯ ГИГАЧАДОВ! Перечисление всех тем и их уровней сложности займет слишком много места, поэтому скажу просто, что я начала проходить этот курс с целью подготовки к КАНДИДАТСКОМУ МИНИМУМУ по теоретической информатике в МГУ (в сочетании с традиционными учебниками). После прохождения половины, сдала кандмин, а потом вернулась и прошла оставшуюся половину, ПОТОМУ ЧТО Я УГОРЕЛА ПО COMPUTER SCIENCE, ПАЦАНЫ ДУХ СТАРОЙ ШКОЛЫ ЖИВЕТ ТОЛЬКО В ЭТОМ КУРСЕ, ГДЕ МАШИНЫ ТЬЮРИНГА РЕШАЮТ NP-ПОЛНЫЕ ЗАДАЧИ ПО ХАРКДОРУ, ГДЕ ЛЮБАЯ ВСЮДУ ОПРЕДЕЛЕННАЯ ВЫЧИСЛИМАЯ ФУНКЦИЯ ИМЕЕТ НЕПОДВИЖНУЮ ТОЧКУ, ГДЕ КОНЕЧНЫЕ АВТОМАТЫ ЖИВУТ РЕГУЛЯРНЫМИ ЯЗЫКАМИ И РЕАЛИЗУЮТСЯ ФУНКЦИОНАЛЬНЫМИ СХЕМАМИ! Правда, в курсе есть проблема с получениями рецензий на задачи (курс старый). Но если будешь проходить, пиши, я отрецензирую! Люби малую теорему Ферма, интерактивные доказательства, ВЫВОДИ КОДЫ С ИСПРАВЛЕНИЕМ ОШИБОК ОТКРЫТО И СМЕЛО! Слава Гёделю!

#ml
Анализ маркетинговых кампаний

первое что пришло в голову, хоть это и не блогпост
https://www.algorithmicmarketingbook.com/

https://www.enterprise-ai-book.com/

Приложение
https://github.com/ikatsov/tensor-house/

#books
Лучшие книги в своём классе для понимания мира финансов

Вот ещё крутая книжка

Вот тоже неплохой вариант, пдф версии правда нет…

#interview #ab
Материалы, по которым соискатели готовились к собеседованию:

Обзор системы сплитования (на примере Авито): https://habr.com/p/454164/

Краткий обзор по статистическим тестам:
https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

Пуассоновский бутстрап:
https://youtu.be/Zki9VMzxcFU

Подсчёт MDE:
https://medium.com/statistics-experiments/когда-останавливать-a-b-тест-часть-1-mde-7d39b668b488 (Часть 1)
https://medium.com/statistics-experiments/когда-останавливать-a-b-тест-часть-2-monte-carlo-a342ba5b552c (Часть 2)

Стратификация:
https://habr.com/ru/company/X5Tech/blog/596279/

Методы сокращения дисперсии и зачем это нужно: https://youtu.be/KvIJ8FCJzr4

Увеличение чувствительности в A/B с помощью Cuped: https://youtu.be/pZpUM08mv-E

Про FPR, TPR, Statistical power и p-value:

https://youtu.be/XTcP4oo4JI4

https://youtu.be/-zps6hm0nX8

https://youtu.be/2nP_gcut7SU

Канал для подготовки к интервью в сфере Data Science: https://www.youtube.com/c/DataInterviewPro
Лекция Нерсеса Багияна про A/B-тесты: https://youtu.be/cWmS-ws4z9I
Курс «Основы статистики»: https://stepik.org/course/76/syllabus
Курс «Основы статистики. Часть 2»: https://stepik.org/course/524/syllabus
Курс «Основы статистики. Часть 3»: https://stepik.org/course/2152/syllabus

#Tip26 #EDA

Partial dependence plots (PDP) — это график, который позволяет понять, как различные значения конкретной фичи влияют на предсказания модели.
Под капотом PDP меняет исходные значения целевой фичи и смотрит как изменяются предсказания модели.
По сути PDP показывает ожидаемое среднее значение таргета при различных значения интересующей нас фичи.

Строятся PDP в двух вариантах - для одной фичи и для пары фичей. Обычно для графика выбирают наиболее значимые для модели фичи.

Т.к. PDP работает с уже обученной моделью, то это еще один способ приоткрыть завесу черного ящика (наряду с SHAP и пр.).

PDP можно построить либо с помощью скалерна (но на вход принимаются только родные для скалерна модели):

fig, ax = plt.subplots(figsize=(18.5,4.5))
features = ['bahrooms','sqf_living','yr_buil']
PartialDependenceDisplay.from_estimator(clf, X, features, ax=ax);

Либо с помощью сторонних пакетов, например PDPbox (https://github.com/SauceCat/PDPbox):

features_to_plot = ['sqf_living','bahrooms']
inter1 = pdp.pdp_interact(model=model, dataset=X, model_features=fcols, features=features_to_plot)
pdp.pdp_interact_plot(pdp_interact_out=inter1, feature_names=features_to_plot, plot_type='contour')
plt.show()

З.Ы. У PDPbox есть еще много других интересных графиков.