Мой близкий друг Саша Сахнов - человек который на мой взгляд лучше всех разбирается в а/б тестах

Еще в далеком 2018 году мы с ним и рядом других людей начали писать на Хабр про А/Б.
Сейчас он запустил цикл статей про А/Б, где каждая статья будет сложнее предыдущей - первая довольно базовая статья про Бутстрап (Обратите внимание на центральный доверительный интервал)

Также интересен небольшой разбор стратификации для повышения чувствительности тестов
Еще можно посмотреть это видео

Между тем у нас новая вакансия
Engineering Manager (Financial Data)
Желательно США или ЮК но можно и удаленно

По факту делаем что-то среднее между BlackRock Alladin и вменяемой финансовой инфрой что делать толковый reconciliation с крипто ассетами

Можно аплаиться через сайт или писать мне

Рад сообщить что меня наконец то признали страной/географическим объектом.

Познакомился сегодня с крутым чуваком из финансовой команды

Он Software Engineer из гейм дева, где писал на плюсах
Затем работал behavioural scientist в казино, работал над тем, чтобы сделать игровые автоматы более привлекательными/подсаживающими на себя
Кроме того он сертифицированный бухгалтер

Интересная жизнь у него

В рамках написания книги по Мл систем дизайну и главы про метрики, прочитал статью Evaluating predictive count data distributions in retail sales forecasting

Статья от Академика, но неплохая, более менее понятная, а как вы знаете, любая статья которую я могу понять - хорошая

В статье разбирается следующая проблема. Прогноз спроса - вещь важная, которую решают многие люди и организации. При этом решают они эту проблему зачастую используя неподходящие метрики/функции потерь. Потому как во первых очень часто природа прогнозируемых данных дискретна - если мы прогнозируем продажи товаров (SKU) они кратны единице учета, нельзя продать 1.5 шампуня. Во вторых спрос вещь прерывистая, продажи определенного товара легко могут упасть в ноль

Если агрегировать данные и прогнозировать что-то продающееся в больших объемах, то тогда конечно можно использовать методы, подходящие для непрерывных данных, но как только мы хотим идти глубже, начинаются проблемы при использовании классических методов

В чем проблемы ?
1. Абсолютные ошибки, MAE оптимизирует - медиану, а тот же wMAPE это по факту MAE разделенное на среднее и даже MASE(mean absolute scaled error) почти тоже самое.
Выбор между средним и медианой не самая большая проблема если распределение симметрично, но это не так в случае дискретных распределений с возможностью падением в ноль
Кроме того оптимизация медианы приводит к смещению, что легко доказать
As an example, assume that f = Pois(λ) for λ < log 2 ≈ 0.693. In this case, the median of f is 0, whereas its expectation is λ. The EMAD-optimal point forecast is 0, regardless of whether λ = 0.01, λ = 0.1 or λ = 0.5. Thus, an EMAD-optimal point forecast will be biased downward. Similarly, if log 2 < λ < λ0 , where λ0 ≈ 1.678 satisfies λ0 e−λ0 + e−λ0 = 12 , then the E MAD-optimal point forecast will be 1, which is biased upward for log2 < λ < 1 and downwardfor1<λ<λ0.

2. Ошибки в процентах тоже не подходят. MAPE не определена в нуле, а symmetric MAPE на самом деле не симметричный, кроме того smape ломается если и предикт и факт равны нулю

3. Квадратичные ошибки - чувствительны к выбросам, но хотя бы могут быть несмещенными (плюс пара интересных заметок про GMAE и GRMSE)

4. Относительные ошибки - Prominent variations are the median relative absolute error (MdRAE) and the geometric mean relative absolute error (GMRAE). Часты они сравнивают абсолютные ошибки - смотри п.1, если сравнивать с бенчмарками, то те могут выдавать ноль и снова неопределенность в нуле

5. Ранжирующие ошибки - Mean Squared Rank и Mean Absolute Rank, пытаются оценить насколько хорошо прогноз оценивает средний спрос на возрастающем отрезке времени. Интересный подход, но недостаток в том, что больший вес задается ближайшему будущему. В принципе может быть именно это и нужно, но хотелось бы уметь задавать веса

6. Scaled Errors - признаны в статье самым многообещающим подходом. sMSE - усредненный квадрат ошибки. (MSE где предикт получается регрессией факта на предикт с изначальной модели). Хотя все еще могу быть чувствительны к перепрогнозу

Все конечно здорово, но есть еще одна проблема, это все точечные оценки, а хочется уметь оценивать распределение. Потому что нам нужно знать не среднее, а вероятность какого-то события, то есть распределение. Можно конечно идти в оценку определенных квантилей, но что если нам нужно много разных квантилей? Делать много моделей/оценок или все же научиться оценивать распределение?

Здесь мы подходим к тому, что-же предложили пацаны

Возникает вопрос, стоит ли это разбирать?
#ArticleReview

В жизни каждого человека наступает период, когда хочется заниматься чем-то неконструктивным и отвлекающим. Играть в доту, тусить с пацанами на районе или обвинять кого-то во всех грехах. Я тоже решил позаниматься подобной активностью и поэтому завел твиттер. https://twitter.com/ValerijBabuskin

Продолжаем разбирать статью Evaluating predictive count data distributions in retail sales forecasting из этого поста
Итак, мы пришли к выводу что хотим оценивать распределение, ведь зачастую это гораздо полезнее

Для оценки непрерывных распределений можно использовать подход предложенный Розенблатом через probability integral transform (PIT)

К сожалению PIT напрямую не подходит для дискретных распределений (будет пиковать вместо выдачи равномерного распределения). Но как часто бывает в математике - не беда! Путем доработки напильником - подойдет и он - randomized PIT, где вместо интегрирования идет семплирование ( при желании можно провести связь с MCMC) и получившиеся распределение сэмплов оценивается на предмет наличия i.i.d. на U[0, 1]

Предлагают оценивать через use of a data driven smooth test to assess whether pt ∼ U [0, 1]. Specifically, we propose to apply the data driven version of Neyman’s (1937) smooth test of goodness-of-fit, as introduced by Inglot and Ledwina (2006) and Ledwina (1994). This test, when applied to one time series’ vector of pt s, yields a test statistic WT, for which we can in turn calculate a P value numerically

Затем чуваки в принципе начинают показывать что они академики, а не практики и обсуждают как оценить качество при наличии сотен, тысяч и миллионов моделей (произведение количества SKU на количество локаций) - что конечно никогда не делают, строят одну или несколько общих моделей. Предложения как это сделать, не то чтобы поразили - оценить распределение статистик всех этих моделей, даже графически или просто вывести какую то статистику статистик

Дальше обсуждают что неплохо чтобы модель была по настоящему вероятностной, то есть была откалибрована

На что я посоветую прочитать прекрасный пост Александра Дьяконова - Проблема калибровки уверенности

В целом статья в той части где идет обзор метрик - очень познавательная, в той части где предлагается решение - вызывает вопросы
#ArticleReview

Когда становится совсем невмоготу читать статьи, на помощь приходят эспандеры. Крепкий хват вещь полезная как в борьбе, так и в качалке. На фото в ряд разминочные и тренировочные экспандеры: 60, 100, 120 и 140 фунтов

В очередной раз наткнулся на упоминание Frances Haugen

As Bloomberg noted, you might recognize his name if you've thumbed through the leaked material that whistleblower Frances Haugen revealed in 2021

Я несколько раз пересекался с Frances по работе, так как отвечал за user data privacy в WhatsApp, а она работала в FB messenger, который в тот момент планировал тоже стать end to end encrypted и им нужна была помощь чтобы понять, как жить после этого

Человек как человек, разумно радеющий за свое дело, но не overzealous.

Из интересного замечу, что по странному стечению обстоятельств, результаты своего расследования она обнародовала две недели спустя получения результатов перформанс ревью.

Что наводит на определенные мысли.
Одно можно сказать точно, она превзошла все ожидания

Поучаствовал в записи подкаста вместе с Ruth Pike, Adrian Martins и Jeff Watkins

Будет готов где-то через 10 дней, из сложностей - делал его с еще активной анестезией челюсти, было непросто

Ниже анонс от Ruth

Yesterday marked my 10th podcast and what a podcast it was!!

Joined by three great Tech leaders, it was such a pleasure to host and listen to you all share your knowledge and experience on the topic - Career Development within Tech.

THANK YOU
⭐️Adrian Martins VP of Technology Coyote Software
⭐️Valerii Babushkin Head of Data Science Blockchain.com
⭐️Jeff Watkins Chief Product and Technology Officer xDesign

We spoke about how anyone starting their career can stand out from the crowd plus much more!!!!😎

This will be ready 10 days - in the meantime head over to our Spotify channel for more of my episodes.
https://lnkd.in/ePKJTGtg

I would love to speak with more tech leaders about getting involved in my upcoming episodes - get in touch if you or if you know of someone

На днях прочитал статью Deep Neural Networks and Tabular Data: A Survey

Статья обзорная, пытается описать и понять почему же прекрасный мир глубокого обучения так хорошо себя чувствует в гомогенных данных (картинки, звук, текст) и никак не может победить деревянные методы в гетерогенных

Сначала обсуждают причины

Плохое качество данных -> много пропущенных значений, выбросов, ошибок и дисбаланс классов. Деревянные модели неплохо умеют с этим работать по дефолту
Отсутствие (неполная) взаимосвязи фичей -> взаимосвязи между фичами в табличках это вам не соседние пиксели, поэтому всякие индуктивные баесы, так популярные в сетках(например свертках) - тут не работают
Зависимость от препроцессинга, особенно для категориальных фичей
Важность одного отдельно взято признака -> например чтобы переклассифицировать картинку обычно требуется изменения региона пикселей, в тоже время для табличных данных иногда достаточно небольшого изменения всего одной фичи, что приводит к совершенно другим результатам. Деревянные модели неплохо справляются с таким, а вот сетки - не очень (некоторые статьи говорят что правильная регуляризация помогает это решить)

После этого ребята делят модели на следующие типы
Encoding/Data Transformations Methods - когда получаем репрезентацию признаком в каком то виде, например VIME, SuperTML( представляет данные в виде картинок для сверток)
Hybrid - когда пытается соединить классический мл и сетки, например DeepFM, TabNN, DeepGBM
Transformer based - используем механизм attention, например TabNet
Regularisation based - со строгой регуляризацией, например RLN

Затем рассматривают методы генерации табличных данных, в первую очередь для аугментации и imputation данных, во вторую - для privacy, сгенерированных данных сохраняют моменты и особенности распределений но не дают конкретной информации

Последняя часть посвящена explainable machine learning
В конце приводят графики где показывается как деревянные модели рвут сетке везде и во всем и обсуждают как жить дальше

В целом рекомендую

Еще весной я объявлял о подготовке запуска курса по System Design, который направлен как на подготовку к собеседованию, так и на изучение того, как действительно надо проектировать системы.

Вместо вертикального подхода aka - задизайним гугл/фейсбук/инстаграмм, мы решили пойти горизонтальным. Подробно разбираем каждый блок: БД, расчет нагрузки, масштабирование системы, повышение отзывчивости и тп, с кучей примеров и затем, уже в конце, комбинируем в готовый дизайн.

Два потока уже прошло, основные шероховатости обработали и теперь можно объявить здесь о третьем Потоке, стартующем в сентябре

В качестве дополнений можно вспомнить пробные интервью по систем дизайну, которые записывали прошлой зимой

●‎ ‎ Выпуск 1

Алексей, ученик 11 класса и победитель AIIJC — международного конкурса по искусственному интеллекту среди детей. Ему пришлось задизайнить сервис, делающий короткие ссылки.

●‎ Выпуск 2

Али — аналитик-разработчик из Яндекса получил задачу задизайнить Instagram

●‎ Выпуск 3

Тимлид команды ML в AliExpress Russia Евгений разрабатывал дизайн сервиса такси. Собственно с ним вместе мы и сделали System Design

●‎ Выпуск 4
Бонус, где аналитик Егор дизайнит web crawler.

Первое видео с анонсом hard ML мы записывали как будто на старой засаленой кухне, где пацаны собрались за столом попить пива и поговорить за жизнь. Новое видео таким харизматичным не вышло, зато оно короче в пять раз

Моя почта предлагает удивительно разнообразные автоответы на сообщения некоторых рекрутеров/продажников

1 сентября на вебинаре буду рассказывать про Перформанс ревью, калибровку, инженерные левелы, композицию тотал компа и как это все взаимосвязано

[Регистрация]

Во время написания главы про бейзлайны, вспомнил замечательную историю про хакатон Сибура.

Его затащила Светлана, прекрасный человек и специалист, с которой мне посчастливилось работать вместе.

Примечательно что она затащила его при помощи константы. Вернее ступеньки! Как любит поправлять меня Света.

Ищу людей на две вакансии у нас в blockchain.com


C++, Low Latency
Желателен опыт с трейдингом и криптой
Уровень - мид, синьор

Два Front End, инженера один будет работать на DeFi проектами, второй над биржей (описание здесь)

Платим как в ФБ, чуть больше даже, но сток еще не ликвидный
Писать можно мне - @VENHEADs

Сегодняшний вебинар про перфоманс ревью провалился

Вначале какая-то тетка каждые 10 секунд механическим голосом говорила Trial, очевидно хотела денег
Как только тетку удалось утихомирить, качество звука стало хуже некуда. Однако мы не остановились
Но после того как трансляция стала временами отваливаться, пропал всякий смысл это терпеть

Поэтому вебинар перенесен

По дороге в свой зал по джиу джитсу (London Fight Factory), наткнулся на здание, напоминающее дом Зингера в Петербурге.

На удивление, вывеска на заведении подтвердила эту гипотезу: Singer Tavern

К сожалению купюры ни в пятьдесят фунтов, ни в пять тысяч рублей не разбрасывали.

Видимо за этим надо ехать в Дубай

Вышел эпизод подкаста про карьеру в тех индустрии с моим участием

Добавил альтернативную ссылку на Sound Cloud

Интересно, будут ли пытаться кэнселить Apple, из-за чьей политики тысячи людей потеряли работу и сотни бизнесов разорились?

Статья в тему
Без пейвола