Пост для комментариев по стриму

Второй стрим с Игорем проведем 27 апреля в 15 по Лондону.

В прошлый раз поговорили про рефлексию языковых моделей, немного про алайнмент(нужно развить тему дальше), автономных агентов и неполную модель мира. Так же затронули нечеловеческие условия работы на заводах в викторианскую эпоху и сходство между генеративным контентом и космическим мусором. Даже страшно представить что бы мы обсуждали, будь у Игоря высшее образование, благо у нас была затронута только четверть из подготовленного

Подоспело и видео со стрима

Читаю старую статью про churn prediction WTTE-RNN - Less hacky churn prediction из 2016 года. Статья отличная, так как я проповедаю практически то же самое + еще кое-что сверху. Цитата:

The last point is the most important one. One can argue that ‘churn’-modeling is something you should only be doing if you’re in a clear-cut subscription based service. Even then it might be hard. The Netflix-class action lawsuit, where shareholders felt mislead over reported churn-rates, showed that all stakeholders seems to be confused about how to define churn. The court even dropped the case concluding that there’s no official definition of it.

По многочисленным просьбам продолжение стрима по Large Language Models будет 27 апреля, но не в 15, а в 18 по Лондону

Случилось то, чего я долго ждал, в ранний доступ вышла наша с Арсением книга: Machine Learning System Design With end-to-end examples

Сейчас доступны первые 5 глав (в черновиках есть еще 8), каждую вторую неделю планируем выкладывать по новой главе и править опечатки в выложенных.

Скидка на книгу до 9 мая: MEAP launch code: mlbabushkin (45% off Machine Learning System Design in all formats)

P.S. - Раз пошли промокды, то вот скидка на Hard ML - BABUSHKINCANADA

Пост для комментов по второму стриму
Ссылка на слайды и твиты

Хочу поделиться ссылкой на Шаблон документа для дизайна ML-систем от телеграм-канала Reliable ML

Насколько я понял, Ира железной рукой насаживает этот шаблон как стандарт в учебной системе для молодых МЛщиков, хотя мы с Игорем знаем, что никаких молодых МЛщиков не будет

Видео второго стрима, в котором мы узнаем про секреты тайм-менеджмента Игоря

Когда я только переехал в Лондон, у меня был план. Согласно плану если после первого года жизни мне там нравится, я делаю визу Global Talent и получаю бессрочный вид на жительство не через 5, а через 3 года. Так я и поступил, в декабре 2021 года обратился к ребятам из Immigram, которые все сделали за меня - от меня было только 3-4 раза поговорить с ними по видео и рассказать какой я классный. В начале мая 2022 года получил свою визу.

Не думаю что кто-то удивился , узнав что в 2022 году спрос ну услуги Immigram и любой другой конторы, помогающий с визами вырост в десятки из раз от людей из России, Украины и Беларуси.
Понятное дело, пропускная способность настолько не выросла, отсюда изменилась и скорость работы.

Они проанализировали свои сотни успешных и не очень кейсов и на их базе выкатили платформу где можно самостоятельно собрать себе кейс на Global Talent не занося деньги никаким юристам (непонятно правда в чем тут их выгода). Говорят, что О1 идет следом и уже в разработке.

Сегодня они запустились с ней на Product Hunt - и им нужна поддержка.

Прочитал небольшую статью Neural Networks are Decision Trees.

Краткая идея простая - we have shown that neural networks can be equivalently represented as decision trees. The tree equivalence holds for fully connected layers, convolutional layers, residual connections, normalizations, recurrent layers and any activation.

Приводят алгоритм как сконвертировать сетку в дерево. В целом, почему бы и нет? Полезного особо не вижу, но удивить друга вполне можно

Через 25 минут поговорим здесь про ML System Design на русском, вопросы и ответы. Вход свободный

Вышло продолжение ответов на вопросы про А/B тесты, ниже анонс от Карпов Курсес:

Всегда ли для проверки гипотезы необходимо использовать A/B-тест? Можно ли сравнивать попарно несколько разных категорий пользователей? Какие есть подходы к повышению чувствительности A/B-тестов? 

На эти и ещё более узконаправленные вопросы, которые вы задавали Валерию Бабушкину, ответим сегодня во второй части «10 вопросов»

Прочитал блогпост Coinbase: Scaling Experimentation for Machine Learning at Coinbase. Хорошо, что я больше не работаю в Blockchain.com, иначе бы сказали, что ругаю конкурента, но блог пост позорный, уровень информативности и нововведений практически нулевой. Настолько, что мне даже нужна помощь, может быть я просто что-то пропустил или не понял? Но начальное заявление : we've built a uniquely elegant approach that combines universes with simple configurations for our ML engines

Не бьется с тем что дальше рассказывают - неслыханное дело, дошли до такой истории как бакеты и что самое смешное, чуваки даже не знают про пересолку:

Hashing in a universe is quite similar to hashing in a split test, using the following formula:
slot_num = hash(universe_name + universe_version + user_id) % num_slots
However, one important aspect to consider is that universe hashing remains consistent over time. This means that historical tests might have a slight influence on the results of future tests. For instance, if a test in slot 1 performs poorly and causes all new users to stop using the app, future tests in that slot could be negatively affected.
To address this issue, we use the "universe version" to allow for rehashing the entire universe when no experiments are running. We've also explored a more advanced technique called "hashing on demand." In this approach, creating a new slot pulls a user group randomly from the entire unused user space rather than from a pre-allocated space. When the slot is emptied, the user group is then returned to the unused user space.

В свое время с @opaOz в Яндексе пересаливаемый конвеер на 1000 бакетов занял у нас целую неделю на имплементацию (вместе с дизайном) и делали сколько угодно экспов в месяц.

На мега платформе coinbase теперь могут гонять до 14 экспериментов в месяц! (пиковое значение)
Еще как мне кажется, чуваки не используют разные слои, хотя на слайде есть Function layer - в тексте про это ни слова

В целом понятно, написали потому что нужно промо, но если я вдруг что-то пропустил, напишите в комментах как я не прав

Говорят наша книга вошла в лист топ-10 новых релизов

I wanted to give you some exciting and good news; your book was on Manning's Top 10 Titles list last week, making it one of the most popular and best-selling releases in our catalog.


This is a great achievement and something that you should celebrate with your network.

С другой стороны эти же люди недавно сказали что надо бы продать чуть больше копий за оставшееся до 5 недель с релиза время, чтобы они были довольны

Поэтому покупайте книгу сейчас. Помните, книга - лучший подарок.