Задача коллекционера

Мы тут киндер-сюрпризы хаваем и попутно решаем задачу коллекционера. Только что Ира и Денис героически распаковали шоколадное яйцо и нашли последнюю игрушку из коллекции.

Задача: 

Производитель яиц киндер-сюрприз кладёт в каждое яйцо одну из 50 случайно выбранных игрушек. Мы хотим собрать полную коллекцию. Пусть X — это количество яиц, которое надо купить. Найдите математическое ожидание E(X). 

Если по-честному посчитать, получится, что E(X) ≈  n ln n.

Теоретическое математическое ожидание для коллекции из 18 игрушек оказывается примерно 52. Мы съели 50 яиц для того, чтобы собрать полную коллекцию.

Решение задачи коллекционера от меня можно найти на ютубе.

Оно очень красивое и использует два приёма: сначала надо разложить случайную величину в сумму индикаторов, а потом для каждой из маленьких случайных величин применить метод первого шага.

Много красивых задачек по терверу, кстати говоря, можно найти в культурном коде.

P.S. в случае коллекционера дисперсия довольно большая. Она пропорциональна n^2. При покупке яиц это придется учитывать.

Data Validation

Валидация данных - одно из самых важных вещей, что бы лутать МЛ соревы, важнее только данные и их обработка.

1. Если у нас хороший FE, мы делаем вот что
- убеждаемся в том что train ~ test. Для этого проводим adversial validation и стат критерии на схожесть распределений средних и дисперсии. После чего делаем выводы о трансформации данных

2. Определяем какая валидация для нас нужна, но большинство делают просто CV без треккинга, а вы пробовали когда нибудь Repeated K-CV? Он позволяет трекать E[x] +- D[x], из чего мы можем сделать вывод о уверенности модели. А так же можно накинуть бутстрап (4 задача из демо симулятора вроде)

https://www.youtube.com/watch?v=qOwT553oMzs

Но есть такой человек Ron Kohavi, если вы смотрели внимательно видео, то он упоминается в статье. И я решил посмотреть что там за гипотезу он написал, а там огромное исследование о валидации данных, по сути видео - краткая выдержка статьи.

https://robotics.stanford.edu/users/ronnyk/teza.pdf

Мой канал - https://t.iss.one/notedatascience
Чат - https://t.iss.one/notedatasciencechat

След про feature selection найди 😏😋

А ладно искать не пришлось у noml есть
https://youtu.be/fOjdGd-7o3s

#career
История про то, что ко всему можно подготовиться

Санёк с Wall Street
#career #coolstorybob #friday #жзл

Как-то в ODS я рассказывал про своего друга, теперь – расширенная версия. Ничего сверхъестественного в его истории, просто как будто сериал про Wall street, запасайтесь попкорном. Wall street тут чисто как клише, речь пойдет про жизнь в ее Лондонском аналоге – the City.

С Саней мы дружим с института – вместе учились на факультете авиации МФТИ. Учился он достаточно, чтоб не терять стипендию, но без чудес. Вместе пили пиво, ходили на концерты альтернативки, вставали на сноуборд, косили траву на военных сборах, ездили волонтерить в Европу (где тоже косили траву) и знакомились с девчонками. Когда у меня все катали матан, он так же пытался меня подстебывать типа я задрот. Сам же стал активно ботать на 5 курсе, когда собрался поступать в РЭШ. Я в него, честно-то, не особо верил, но с 3-й попытки он сдал TOEFL на 112, GMAT нам физтехам проще даётся, да и с экономикой как-то проскочил.

Начались трудовыебудни, жил он с дедом на 15 тыс. рублей в месяц, готовил котлеты, дед их поедал. На неделе было по 7-8 дедлайнов. Как-то ещё умудрился девушку найти, брал у меня в долг 10к на торт и цветы, чтоб с мамой и бабушкой познакомиться (в 2017-ом мы оба женились). В РЭШ народ был еще более лютый, чем на физтехе, Саня по рейтингу был где-то на 25-ом месте, но повезло, именно он выбил грант на обучение.

Саня услышал в РЭШке про возможность постажироваться в Barclays, и понеслось. Как банный лист к заднице, приставал ко всем, кто прошёл эту программу, опять заботал просто все что можно было, и вот он в Лондоне с окладом 5к фунтов и налогами 10% (а не 40, как обычно, ибо стажировка). В барклайсе спокойно решал задачку типа регрессии с временными рядами, никакого кипиша, как в РЭШке, не было, жил припеваючи, с боссом ладил, пиво пил. Оказывается, когда тебя подсиживают ещё человек 16-17, надо быть начеку: знакомиться с руководителями прочих подразделений, даже ходить на собесы (!) внутри того же барклайса. Решают даже такие мелочи, что как-то ехал Саня в лифте, зашёл супер-босс и как-то разговор за 40 сек. не склеился. В итоге не предложили Сане контракт, хотя вся команда его за была, и босс был им доволен, а вот супер-босс нашёл на его место кого-то еще. Саня ходил 3 дождливых дня вдоль Темзы и пил джин.

В Москву (точнее, Жуковский) он вернулся зимой, как оказалось, почти на 3 месяца. Стал атаковать топовые инвест-банки, взяв прицел на JP Morgan и Goldman Sachs. И пошли собеседования... почти каждый день. Опять Саня заботал просто все брейн-тизеры и деривативы, на собесы ходил как на работу, даже волноваться перестал, в конце вёл себя просто нагло, сразу отвечая на вопросы, даже не скрывая, что знает ответ. В итоге JP Morgan устроил ему 18 (!) собесов, а на очной встрече в Лондоне эйчар честно признался, что есть 4 равноценных кандидата, и он не знает, кого брать. Отшили из-за week communication skills и отсутствия боевого опыта C++, хотя это и так из резюме было видно. А вот Голдман принял после 14 собесов.

Библиотека для детекта разных вещей

https://docs.seldon.io/projects/alibi-detect/en/latest/cd/background.html

Алоха. Я пока активно решаю задачи и не хватает времени описывать их решение. Скоро статьи продолжат выходить. Зато хватает времени на записи разбора видео с систем дизайном.
В этот раз поговорили с ребятами о Distributed Email Service. Было много открытий для меня.
Я никогда не задумывался как работает система отправки сообщений. И оказалось что есть специальные протоколы для этого.
Присоединяйтесь https://youtu.be/5-Nh0azAcJM

#python #courses

Интерактивный хэндбук по Python
https://academy.yandex.ru/handbook/python