Добрый вечер, дорогие подписчики! Очень важно слышать от вас фидбек по каналу. Что хотите видеть в ближайшем будущем, что стоит разобрать и т.д.

Пишите в комментариях под постом 🐍

По типу: где математика, админ, хотим математики ИЛИ где мл, не вижу до сих пор, ну вы поняли 🥴

жиза)

#memes

A/B тесты завтра! Админ наработался. Накидайте реакций для мотивашки 🙃

от любителя шада и дифуров @ArseniySem

Запомните, есть 2 гендера)

#memes

Совместно с Enjoyer’ом HSE (ПМИ) @ArseniySem

Планируем организовать встречу в мск на следующей неделе (предположительно выходные). Пообщаемся поближе, обсудим какие-то классные кейсы, да и просто отдохнём. По поводу места будем решать на неделе 🥹

Возможно, вы увидите всех админов и сможете быкануть за периодичность выхода различных постов 😈

Всем удачи, будем ждать!

A/B тест.

Если вы видите этот пост, значит вы попали в контрольную группу, для вас поста нет.

ШУТКА

Покажите, как вы ждёте этот пост что ли 🙃

Самая любимая тема, пожалуй, для всех продактов, встречаем, A/B тесты! По факту мы тестируем то, как ведет себя метрика при изменении в продукте

В нашей команде есть админ, который их не признает

Какие термины нужно обязательно знать?

Выборка - подмножество из генеральной совокупности.

Нулевая гипотеза H(0) — то от чего, мы отталкиваемся, зачастую говорят, что различий между выборками нет, связи нет (среднее не различается).

Альтернативная гипотеза (H1) — то, что мы хотим принять (различия есть, все классно), связь присутствует.

p-value — вероятность получить такие же или большие различия между выборками.

Ошибка l рода — Отклонение верной нулевой гипотезы (обычно берется 5%, об этом чуть позже).

Ошибка ll рода — Принятие неверной нулевой гипотезы.

и другие... Precison, recall, ЦПТ (для Bootstrap)

Почитать подробнее: link 🔗

Вообще, что это такое? Представьте, что у вас есть-какой то продукт, например, канал ЗАСКУЛЬ ПИТОНА, я хочу увеличить глубины просмотра, количество реакций. Скорее всего, я куплю Telegram-премиум, чтобы было больше стикеров с анимациями (из простого).

Давайте простенький пример, чтобы вообще понять, как это рассчитывается (Bootstrap)

Retention-менеджер канала пришел к создателю паблика и узнал, что продуктом удовлетворены 80% пользователей. Вместе со вторым админом создатель пошел, выбрал 100 человек, оказалось, что деятельностью канала удовлетворены 70% пользователей. Можно ли верить менеджеру?

H0 - различий нет, это случайность
H1 - различия присутствует, Retention-менеджер решил всех обмануть и рекламить казино.

Окей, сформулировали, дальше что? Искусственно создаем выборку, пример кода напишу ниже

import numpy as np
pval = np.mean([np.random.binomial(1, 0.8, size = 100).mean() <= 0.70 for _ in range (10000)]

)

1. Генерируем выборку из библиотеки numpy. Биномиальное распределение (с вероятностью 0.8 выпадет единичка, с вероятностью 0.2 - нолик, size - размер выборки). Мы предположили, что данные пришли из той же выборки.

2. mean - среднее значение, смотрим на реальное выпадение единички из выборки с размером в 100 человек.

3. далее цикл, который прогоняется 10000 раз, чтобы все получилось репрезентативненько

4. Смотрим также на среднее значение в полученном списке (возвращается True - 1, False - 0).

5. Получаем p-value. Оно подвязано к ошибке первого рода, которую мы заранее знаем до проведения эксперимента (обычно берется 0.05, 0.01). Если p-value меньше ошибки первого рода, то мы отклоняем нулевую гипотезу и принимаем альтернативную.

pval < 0.05, значит retention-менеджера можно пинать по жопе.

Вводные есть, понимание появилось. А теперь к реальной практике. Самые главные работяги, маркетологи навалились и начали пушить идею о том, что продукт будет расти, если мы поменяем кнопку или интерфейс (как сделал VK, my best friends, если вы видели, что музыку перенесли на главную страницу пользователя до того, как это стало мейнстримом, поздравляю, вы попали в тестовую группу).

Окей, какие-то отступления были, маркетологи хотят видеть цифры и понять, нужно ли оставлять или нет. Какие требования?

1. САМОЕ ВАЖНОЕ! Проводить A/B тест одновременно для A и B групп, потому что иначе результаты будут криво отображаться. А теперь вопрос на миллион, с которым я столкнулся относительно недавно. А как проводить A/B тест в ритейле? Как создать 2 альтернативные вселенные, в которых я поменяю полку с попкорном и чипсами? Как? Ответ от X5: link 🔗
2. Тест в одно и то же время при равных условиях. Если нам нужны метрики по типу продаж дополнительно закладываем время, в которое пользователь может заплатить за наш продукт. То есть, условно 14 дней теста + еще 3 дня для объективной оценки.
3. Изолируем группы, сплитим на различные группы (если у нас B2B/B2C сегмент, то нужно подумать).

link от SkyPro 🔗

Хорошо, поняли, это база. Теперь берем и радуемся, но нам нужно знать о / об:

- ошибке первого рода.
- минимальном размере выборки.
- случайности и объективности эксперимента.
- временном диапазоне.

О проверке результатов: link 🔗
Поиграться можно тут: link 🔗
Зачем оценивать размер выборки? link 🔗

Но нельзя же верить Bootstrap'у постоянно? Существует множество методов (z-test, t-test и др.). Что этого и для чего используются можно глянуть (СПОЙЛЕР: патриотам не смотреть!)

[EN] VK link 🔗
[EN] Study A/B testing (GitHub) link 🔗
[EN] scipy Documentation (library in Python) link 🔗
[EN] statsmodels Documentation (library in Python) link 🔗
[EN] A/B testing: A step-by-step guide in Python link 🔗


Советую посмотреть про различные методы подсчета результатов A/B теста. Дам псевдо-дшку для того, чтобы было понимание, cами показатели можете видеть на картинке (используйте proportion z-test)

- COUNT - количество пользователей, которые посетили сайт
- SELL - количество пользователей, которые купили продукт
- CR - конверсия, отношение продаж к количеству пользователей.

Фух, вроде всё. Если есть дополнения, пишите в комменты, будем рады! За труды ставьте реакции, пишите комментарии, зовите друзей)

Само задание ☺️

Друзья, всем привет, мы определились с местом, где проведем нашу первую, но не последнюю встречу. Циферблат Москва Кузнецкий Мост по адресу: г. Москва, ул. Кузнецкий мост 19, стр.1. Если у вас есть возможность прийти, будем рады вас видеть. В опросе ниже проголосуйте за день, в который вам будет удобней всего встретиться с нами!

Друзья, всем привет, на этой неделе не удалось встретиться, админ сожалеет. Я озадачился тем, чтобы попробовать поступить в ШАД (Яндекс), это будет неплохой опыт, как для меня, человека, который учится даже не по направлению бизнес-информатики))))

Первый пост по теме подготовка к ШАДУ АДУ, объявляется открытым. Набор будет в апреле следующего года, поэтому можно попробовать заспидранить основные моменты. Пока что на руках есть рекомендации от Яндекс, которые они дают для этого.

1. Алгоритмы: построение и анализ (Т. Кормен, Ч. Лейзерсон, Р. Риверст, К. Штайн)
2. Задачи и теоремы линейной алгебры (В. Прасолов)
3. Основные понятия теории вероятностей (А. Колмогоров)
4. Курс теории вероятностей и математической статистики (Б. Севастьянов)
5. Курс комбинаторики А. М. Райгородского на YouTube.
6. Тренажёры по написанию кода: Codeforces, LeetCode или TopCoder

и т.д. и т.п., можно глянуть по ссылке от ЯШКИ.

Ну что ж, поехали. #собираюсьвад

Ради этого и ботаем 😎

#memes

🟡⚫️🔴⚪️ Откопал инфу по ШАД, к которой готовился один из выпускников. Выгружалась zip достаточно долго, потому что исходник был на сайте, который был залочен для РФ, press F.

Навигация:

1_Online_Test – решение задач с теста на Питоне от автора
2_Exams – задачи с экзаменов 2012-2018 и их решения.
3_Interviews – задачи с интервью прошлых лет и их решения.
4_Books – все книги, перечисленные в программе для поступления в ШАД, плюс еще много разных полезных книг, которыми пользовался автор при подготовке.
5_Formulae – различные конспекты, формулы и шпаргалки. Если нужно освежить в памяти отдельные темы или нет времени целиком прочитать книги.
6_Problemsets – задачи, близкие к экзаменам и интервью в ШАД. Сейчас там лежат листки по теорверу ФКН Вышки.
More_materials – дополнительные материалы по подготовке, на которые наткнулся в Интернете. Сам не успел ими воспользоваться, интересные задачи там найдутся

#готовлюськаду

всем сладких снов!

#memes

Что правда, то правда…

#memes