До чего меня довел Игорь. Позвали судить хакатон по вайб-кодингу!

Не прошло и года с момента покупки 4-й версии мегапростыни, как вышла 5-я.

Новая версия, помимо простыни, теперь включает мегаодеяло (греет/холодит), генератор «правильного» шума, специальную базу под матрас, снимающую напряжение со спины и борющуюся с храпом, а также новые датчики для отслеживания здоровья.

Непростая дилемма конечно, брать или нет

https://www.eightsleep.com/uk/product/pod-cover/

Искренне рекомендую прочитать про stage gate для AI проектов
https://t.iss.one/c3po_notes/317

Давал как пример студентам в рамках курса по МЛ Систем Дизайну

Удивился второй раз в жизни при работе над инфрой. Первый раз был, когда переезд с Postgres на BigQuery в Blockchain com ускорил (на самом деле!) запросы в 100 раз и снизил стоимость в 10.

Тестировали Iceberg поверх Parquet

AWS Glue + Iceberg: стоимость ↓2.3x, скорость ↑3x
AWS EMR Serverless + Iceberg: стоимость ↓31x, скорость ↑6x
Databricks Serverless on Delta Lake: стоимость ↓3.5x, скорость ↑12x

Полез разбираться, как алгоритмически работает Iceberg поверх Parquet, и в очередной раз убедился, как же приятно читать/смотреть такие инженерные вещи, когда ребята садятся решать человеческие проблемы и находят простые решения.

Умные метаданные: знает статистики каждого файла без его чтения
Убирает дорогие LIST операции в S3 (экономия I/O)
Predicate pushdown: исключает файлы еще на этапе планирования
Hidden partitioning: автоматически находит нужные данные по любым колонкам ( У паркета тоже есть, но не так хорошо)
Snapshot isolation: читает консистентное состояние без блокировок

Главное - важность проверки разных платформ под конкретные бенчмарки. То, что работает для одного типа нагрузок, может быть неоптимально для другого.

P.S. Databricks показал отличные результаты с Delta Lake, но это уже другая история

Ходил по краю два года назад. Одним из вариантов работы в 2023 был VP of AI в buidr

Ранний аналог lovable

Анонимусы (без шуток, так и написано в статье) из неуказанной компании (но дальше честно говорится, что это Яндекс) выпустили статью — Yambda-5B: A Large-Scale Multi-modal Dataset for Ranking and Retrieval.

Собирать и раздавать датасеты — дело богоугодное. Помню, как Женя Макаров на Датафесте в 2018 году ходил и фотографировал эмоции людей, чтобы собрать уникальный датасет (Женя, где датасеты!). А тут сразу:
1 миллион пользователей,
9.39 миллиона треков,
4.78 миллиарда взаимодействий из Яндекс Музыки.

Для каждого трека прилагается эмбеддинг, полученный свёрточной сетью по спектрограмме. Почему не Vision Transformer — вопрос интересный, но идея понятна.

По типу фидбэка:
– Implicit — прослушивания
– Explicit — лайки и прочие действия

Из уникальных штук — флаг is_organic. У каждого события указано, было ли оно органическим или вызвано рекомендацией. Это редкость: можно отдельно изучать, как алгоритмы влияют на поведение и как выглядит "чистое" прослушивание.

Датасет выдают в Parquet (но без Iceberg, увы) — что уже хорошо.

И ещё одна редкость — реалистичная схема сплита (Где то радуется один Information Retrieval) :
• Train — 300 дней
• Gap — 30 минут
• Test — 1 день

Сначала делают Global Temporal Split по таймстемпам, но корректируют его, чтобы в тесте были только те пользователи, что есть в трейне — ближе к продакшену.

В общем, выглядит мощно. Ждём, когда Саша Петров наложит на это свои руки.

Перезалил, с ссылкой на датасет

Появилась первая часть моего разговора с Виктором Кантором

Разбирая архивы, наткнулся на картину, которую мне подарила моя команда в Х5.

«Въезд Цезаря в Рим»

Гордо стояла в моем кабинете

Появилась вторая часть моего разговора с Виктором Кантором

После запрета со стороны Игоря писать Тагиру комментарии от лица своего канала в моем канале, я решил помочь, конечно же, себе! Заодно им и еще паре ребят. Собрали папку.

В папке — каналы инженеров и специалистов по ML и Data Science, которые стоит читать

Вся папка тут: https://t.iss.one/addlist/Hy-LPGleDlY4MGRi
Жду Тагира в первом комментарии!

Первый запуск курса по ML-систем дизайну оказался успешным, если верить отзывам и моим впечатлениям (правда он ещё не закончился)

Пока у меня есть силы, я планирую провести ещё один . Сейчас есть примерно 25 заявок от тех, кого мы не приняли в первый раз, поэтому примерно ещё 25 человек готовы принять сверху

Курс проходит вживую, по выходным, по 2 часа два раза в неделю в течение 3 месяцев.

Запись здесь

Хороший пост от фаундера и СЕО Klarna. Во-первых, признали, что не удалось им заменить весь саппорт на агентов и откатились частично обратно, что имеет смысл, но более интересно про организационную структуру.

А именно, правильная организационная структура приводит к тому, что команде требуется минимальное количество согласований.

Это, кстати, полностью соответствует моей собственной модели руководителя как точки решения эскалацииюй, и, соответственно, общий руководитель должен находиться как можно ближе к местами их возникновения , пока их можно решить малой кровью.

What makes an insight "Actionable" at Klarna?

Clear visuals/screenshots, specific problem definition, suggested fix, simple financial impact estimation, effort needed, and clear ownership.

The actionable insights coming out of this blew us away. Many were million dollar opportunities that required days of work. But had been overseen due to lack of clarity of ownership, "nobody thought of them" and so forth. Fix things on website, fix some copy etc

Some were more complex and harder to fix. As we expanded our datamodel for actionable insight we started listing number of teams necessary to resolve tickets. And this has now started guiding us on organization structure and system structure. If a simple fix requires too many...
teams OR requires sign off from too many places that is a bad sign in of itself.

Интересный пример аналитики сигналов второго рода

Pentagon Pizza Report

The Pentagon Pizza Index has been a surprisingly reliable predictor of seismic global events—from coups to wars—since the 1980s. On the night of August 1st 1990 for example, the CIA ordered 21 pizzas in a single night just before the Iraqi invasion of Kuwait (a new record). Who says pie charts aren't useful?

Например, вчера, перед ударами Израиля по Ирану, о которых, вроде как, никто не знал, заказали аномально большое количество пиццы.

Просто история про человека, который из-за проблем с наркотиками наломал дров и сел в тюрьму. Там он научился кодить и нашёл удалённую работу по разработке новой базы данных.

Семь лет назад я пришел в Х5, посмотрел на результаты оценки различных инициатив и понял, что нужно это срочно менять. Срочно заняло примерно два года, когда со стороны СЕО, CFO, CTO, меня и еще ряда людей был подписан обязательный регламент прохождения всех инвест инициатив через команду Саши Сахнова, которая в тот момент уже была человек в 50 и из которой выделялась уже даже не команда, но платформа А/Б тестирования.

Еще пять лет спустя, корректность и полное соответствие Платформы А/В тестирования современным научным практикам подтвердили эксперты Международной лаборатории стохастических алгоритмов и анализа многомерных данных факультета компьютерных наук НИУ ВШЭ.

Что это за платформа, которую X5 строил все эти годы?

Инструмент, который позволяет бизнесу принимать решения не на основе интуиции, а на основе реальных данных. За это время через платформу прошло более 500 экспериментов. Она может быстро и точно оценить эффект от чего угодно: внедрения новой технологии, изменения бизнес-процессов в магазинах, запуска маркетинговой акции или ротации поставщиков.

Принцип классический: сравниваем две группы магазинов – в одной изменения внедряем (тестовая), в другой оставляем всё как есть (контрольная). Это позволяет с высокой точностью оценивать влияние на ключевые финансовые метрики: РТО, средний чек, фронт-маржу, списания и многое другое. Но поверх этого куча методов повышения чувствительности, матчинга, синтетического контроля и тп

Сейчас у платформы два ключевых сервиса:

Дизайн эксперимента: помогает бизнесу правильно спланировать тест еще на старте.

Оценка эксперимента: анализирует результаты и выдает вердикт об эффективности инициативы.

Есть как полностью автоматический режим для стандартных задач, так и возможность тонкой настройки с аналитиком, когда нужно учесть специфику конкретной бизнес-инициативы или исключить из расчетов определенные магазины.

Путь от «ребята, так делать нельзя» до научно верифицированной платформы, которой пользуется весь бизнес, занял семь лет. Это огромная работа и большая гордость. И главное – это пример того, как data-driven подход из модной фразы превращается в обязательный и фундаментальный инструмент для принятия решений в одной из крупнейших компаний страны.

Сегодня узнал, что на Бали продают пиратскую версию нашей с Арсением книги. Физическая распечатка, которая на середине обрывается!