Небольшая заметка от Рони Кохави - P-values and Bayes Factors in A/B Testing: Frequentist or Bayesian A/B

Многие критикуют A/B тесты за то, что им непонятно, что такое P-value, и вместо этого хочется видеть какую-то вероятность успеха.
Отсюда люди начинают прибегать ко всякому: гаданию, Таро, баесовским приорам.

Рони говорит: всё здорово, но почему бы просто не использовать False Positive Risk?

In this document, I show that mapping from p-values to minimum and calibrated Bayes Factors, which can then be mapped to probabilities, seem to give values close to the FPR (False Positive Risk), or the probability that a statistically significant result is a false positive. This is an important empirical confirmation that I have not seen before.

Классическая история: если у вас 15% A/B тестов действительно успешны, вероятность ошибки первого рода составляет 5%, а второго рода — 20%, то какой у вас False Positive Rate? А False Positive Rate в нужную сторону? Все это довольно легко посчитать, безо всяких чудес.

А вот баесовские методы, требующие различных приоров и онлайн-калькуляторы, предлагающие их, почему-то либо не дают дополнительной информации, либо завышают положительную вероятность.

If all we are doing is providing a different mapping from four parameters (sample size of control, sample size of treatment, successes in control, successes in treatment) to probabilities using non-informative priors, then I find the Bayesian exercise losing much of the promise. Worse, the online Bayesian A/B calculators not only require fewer parameters than FPR does, but the “Chance to beat Control” seems highly exaggerated.

Рекомендую просматривать заметку каждый раз, когда рука будет тянуться к Баесу

Немного удивляют комментарии вокруг DeepSeek, особенно относительно заявленной эффективности тренировки.

Как будто люди забыли, что GPT-2 сейчас можно обучить уже на ноутбуке, в то время как изначально требовался кластер GPU.

В целом в машинном обучении всегда так: сначала нужно много вычислительных ресурсов, чтобы найти правильный путь, а повторить его затем значительно проще.

На сколько инференс чат гпт подешевел за год? А за два ?

Не говоря уже про многое другое, что, конечно, не отменяет того, что китайцы - крутые пацаны

Статья в тему - The Rise of DeepSeek: What the Headlines Miss

Оказывается, первый раз мы обсуждали deepseek (мимолетно) с Игорем (кто-бы мог подумать) еще в декабре 2023 года

Не смог удержаться. Очевидно, что Deep Seek тоже основан на работе Шмидхубера в 90-х годах, как, впрочем, и любая другая прорывная технология в рамках машинного обучения.

Как писал Салтыков-Щедрин: «Если я усну и проснусь через сто лет, и меня спросят, что сейчас происходит в МЛ, я отвечу: пьют и воруют у Шмидхубера.»

Ничего нового, просто еще один человек ругает Баесовскую статистику, на примере Банка Англии

In terms of where improvements could be made, the report found deficiencies within the Bank’s forecasting infrastructure, that is, the data management and other software tools, as well as the models used in the forecast process, particularly the central forecasting model, COMPASS

А модель то и правда, на Баесе

The Bank of England's forecasting model COMPASS is indeed a Bayesian model. The model's estimation process explicitly utilizes Bayesian methods, combining prior information with observed data to generate probabilistic forecasts. This approach aligns with the key characteristics of Bayesian forecasting models, as outlined earlier, including the sequential updating of distributions, the use of parametric models with meaningful parameterizations, and the probabilistic representation of information. The analysis confirms that COMPASS exhibits these characteristics.

Впрочем, тот же человек топит за E Value, а единственное чем они отличаются от Баеса - это приор

Think of E-values as "frequentist-friendly Bayes factors"—they quantify evidence without requiring prior probabilities

Получается - многие знания, многие печали, такой вот девиз нулевого приора

Интересно, упал ли спрос на разработчиков потому, что он действительно снизился (с поправкой на аномальный роста во время ковида), или потому, что заметная часть разработчиков теперь имеет более одной работы?

Причём обычно это ребята выше среднего, которым легче найти работу и хорошо перформить.

Начал читать книгу Джима Коллинза — Good to Great: Why Some Companies Make the Leap... and Others Don't.
И закончил через 40 страниц

Суть книги проста: авторы выбрали 11 компаний, которые за 15 лет до трансформации показывали средние результаты, а затем, после трансформации, ещё 15 лет опережали рынок и свою индустрию в разы. После этого они попытались выяснить, что отличает эти компании от их "двойников" — аналогичных фирм из того же сектора, которые до трансформации показывали схожие результаты, но затем либо не добились успеха, либо столкнулись с проблемами.

Почему книга кажется сомнительной
* В исследование попало всего 11 компаний, тогда как в анализе участвовало 1500+ — можно было выбрать что угодно.
* Определение трансформации размыто — авторы просто нашли точку перегиба в данных, причём для каждой компании свою. Они же в книге пишут, что никакой особенной "трансформации" не запускалось — это был естественный процесс.
* Метрика выдающейся компании — рыночная капитализация. То есть оценивают компании по цене их акций, что само по себе не всегда показатель эффективности.

Некоторые "великие" компании вскоре провалились:
* Кто-то разорился через несколько лет после выхода книги.
* Кто-то следующие 15 лет показывал результаты хуже рынка.
* Gillette, которого приводили в пример как "компанию, которая не продалась никому", через 4 года после выхода книги продался.
* Кажется никто не остался великим (вспоминаем GE 1981-2000)

Level 5 Leadership
Авторы также придумали термин "Level 5 Leadership" — якобы общий набор черт CEO всех 11 успешных компаний. Но когда этих самых CEO интервьюировали, они говорили "нам просто повезло".

В чём итог?
Напоминает книгу с OKR, где восхваляли "чудо-пиццерию", а вскоре после выхода книги она прогорела. Решил проверить, может, я один не понял сути книги — ан нет, критика в интернете такая же.

Вообще, из бизнес-литературы пока только две книги действительно понравились:

Goal
Good Strategy - Bad Strategy

Неплохо читать книги такого рода лет через 10-20 после их выхода

Подъехал новый контент

Заметил, что работает простая стратегия:

Покупай акции компаний, чьими продуктами ты пользуешься.
Продавай акции компаний, чьими продуктами ты перестал пользоваться.

Как только обнаружил, что спортивное питание от Applied Nutrition продается публичной компанией Applied Nutrition, немедленно купил их акции.

Книга, наконец-то, стала доступна на Амазоне

Прошлая поездка в Куала-Лумпур прошла неплохо, поэтому можно и повторить, на этот раз первые 2-3 недели апреля

Попутно, помимо стандратных дата инженеров, аналитиков и мл инженеров, сейчас так-же нанимаем SAPеров в BP, вплоть до директора включительно

Ссылка здесь

Краткое описание здесь

Location: Pune/KL
Role Overview:
We are seeking experienced SAP Data Experts to join our team. The ideal candidates will have a deep understanding of SAP S4/HANA data structures, data migration, and business processes. They will play a crucial role in our ERP transformation program, ensuring data integrity, migration, and analytics.
Key Responsibilities:
Understand and manage SAP S4/HANA data models and structures.
Perform data extraction, transformation, and loading (ETL) processes.
Collaborate with business stakeholders to ensure data ownership and governance.
Cleanse and validate data to ensure accuracy and consistency.
Develop and implement data migration strategies.
Support data analytics and reporting initiatives.
Work closely with functional teams to understand business processes and data requirements.
Utilize SAP tools such as Sanity, Smart Shift, and internal SAP tooling for data management.
Core Skills and Competencies:
Expertise in SAP S4/HANA data structures and migration.
Strong understanding of business processes in areas such as finance, logistics, procurement, and asset management.
Proficiency in ETL processes and data cleansing.
Experience with SAP data management tools.
Ability to work collaboratively with business stakeholders and technical teams.
Strong analytical and problem-solving skills.
Excellent communication and documentation skills.
Preferred Qualifications:
Previous experience in large-scale ERP transformation projects.
Knowledge of AI and analytics tools within the SAP ecosystem.
Relevant certifications in SAP data management or related fields.

Задачка перед собеседованием

СЕО AI Лабы утверждает: in the next 3 to 6 months, AI is writing 90% of the code, and in 12 months, nearly all code may be generated by AI

Рекрутер из этой лабы предлагает податься на вакансии Software Engineer

Ваши действия?

Дополнительная информация - СЕО никогда не работал фулл тайм разработчиком

Сегодня в 17 по Лондону сделаем стрим с Игорем

Вайб кодинг: хайп или новая волна?

Обсудим, будем или не будем писать 90% кода через полгода руками, какие перспективы у нас есть, и что говорят те, кто уже кодит с помощью AI.

Для тех кто будет 9 апреля в Куала-Лумпур, можно будет придти послушать разные выступления, поучаствовать в квизе на знание мл дизайна, выиграть книгу и попробовать получить работу в BP

Как понять, что Игорь заболел

У open AI новый раунд - оценка 300 млрд, подняли 40

А в сиолошной тишина

Большинство не просило, но некоторым было интересно

Запускаем курс по МЛ Систем Дизайну, с живыми лекциями

Курс будет идти 10-14 недель, с двумя занятиями в неделю и разбором курсового проекта

Посмотреть и записаться можно здесь

Великолепный репорт

Действительно, хоть фантастику не читай

Как будто комбинация трилогии - Проблема трёх тел и первых двух книг Гиперион, Дэна Симмонса