На митапе 13 февраля будет еще один доклад от Александра Сидорова из HH.ru

Тестирование и мониторинг качества моделей и метрик

Системы с ML - дорогие и хрупкие. То, что ML продолжает приносить пользу, а изменения приводят к улучшениям - само собой не разумеется, нуждается в проверке, тестировании и мониторинге. Я расскажу, как мы, в HH.ru:
- проверяем ML-идеи до того, как начали писать код
- делаем метрики и baseline'ы, чтобы было с чем сравнивать модели ML
- тестируем и мониторим данные для метрик, обучения, расчёта признаков в production
- строим модели на части признаков, проводим time-based кросс-валидацию
- делаем CI/CD для пайплайнов, обучающих модели
- проверяем и мониторим качество, производительность, объём данных для моделей до выката и в prod
- проводим обычные и ухудшающие AB- и TDI-тесты
- мониторим корректность и время расчёта признаков в prod
- валидируем метрики и проверяем их для каждого эксперимента
- встраиваем качество: делаем code review, рефакторинг, применяем framework FeatureGroup, даём разработчикам и DS тестовые стенды, избегаем переключений, многозадачности и перегрузки, снабжаем всё unit- и автотестами, чтобы уменьшить вероятность ошибки человека.

Привет! Желающих посетить митап LeandDS оказалось так много, что пришлось поменять место проведения.

Митап пройдет в офисе Mail.ru Group: Ленинградский проспект, д. 39, стр. 79.

Обратите внимание, что регистрация обязательна и для входа с собой надо будет иметь паспорт или права.

Время начала регистрации участников 18-00.

Ждем вас!

Если заблудитесь, пишите на +79671344525 (Асхат)

Дружественный митап ML-Repa приглашает к себе! Темы близкие и полезные

Привет!

Пришло время объявить о первом митапе ML-REPA в этом году. Поговорим про A/B эксперименты и про инструменты для управления ML экспериментами 🚲

📅 Дата и время: 27 февраля (четверг) в 19:00
📌 Место: Офис Райффайзен банка, Проспект Андропова, д. 18, корп. 2 (м. Технопарк)
🎤 Спикеры:
- Андрей Гуревич, Dostavista, Sacred — eщё одна библиотека для протоколирования экспериментов
- Нерсес Багиян, Raiffeisenbank, Ускорение А/Б тестирования с помощью машинного обучения
- Рожков Михаил, ML-REPA, От MLflow к MLPanel: поддержка нескольких проектов, Model Registry и деплой в одном интерфейсе


Регистрация доступна по кнопке к посту. Не забудьте взять с собой паспорт📋

#events #meetup #mlrepa

Зарегестрироваться можно тут: https://ml-repa.timepad.ru/event/1257624/

В 18-30 состоится трансляция митапа LeanDS3. Ссылка будет опубликована в этом канале в 18-30. Вопросы будем принимать в чате @leands_chat. Ждем всех, кто не может прийти вживую!

Ссылка на тренсляцию тут: https://www.youtube.com/watch?v=XpIWnDFIkF8 - Welcome!
Начинаем в 18-30

Заходите в @leands_chat и задавайте там вопросы, постараюсь передать их докладчикам

Программа примерно такая. Отсутствие изменений не гарантирую :)

Огромная просьба: пройти проверку вашей зрелости процессов 🙂 Это тест на несколько минут. Мы подведем итоги в перерыв и разыграем крутой приз — LeanDS футболку, единственную в своем роде (даже у меня такой нет).

https://forms.gle/BLMG9kxhpLsB8LmC9

Ссылка на презентацию Антона Хританкова
https://tiny.cc/cyqyjz

Алексей Могильников

Магомедов и Рассказов

Александр Сидоров

Когда-то давно я понял, что если хочешь попасть на хороший митап — организуй его 🙂 . Цель всех митапов LeanDS — разобраться, как правильно делать DS проекты. Лично я вообще считаю, что грядет зима AI и ее переживут только самые приспособленные 🙂

Мы с вами разобрались с качеством, ну по крайней мере более-менее стал понятен ландшафт как именно его обеспечивать.

Цель следующего митапа — разобраться, как все-таки эффективно управлять требованиями в DS проектах. Какие существуют этапы DS проекта? Что такое на самом деле гипотеза? Как их брейнштормить? Как подготовить бриф проекта или продукта? Как избежать типичных ошибок? Нужен ли баклог DS продукта и как его собрать?

У меня есть предложение. Давайте проведем митап в два прыжка.

Прыжок первый. Проведем подготовку. Соберем небольшое количество компетентных товарищей и попробуем вечером за несколько часов забрейнштормить на эти вопросы.

Прыжок второй. На отдельном митапе расскажем о том, что у нас получилось + будет несколько классических докладов/кейсов на эту тему.

Для первого прыжка нам нужно разумное (меньше 12) количество ответственных и опытных коллег:

* Бизнес и системных аналитиков
* DS-лиды
* Agile Coach
* Менеджеры AI продуктов

Короче, предлагаю зажечь, напишите если интересно

​​На митапе LeanDS#3 по качеству проводился опросик по зрелости процессов. Я обещал победителю майку. По случайности ее выиграл Роман Тезиков из дружественного митапа ML-Repa (честно, оно само).

Крутая майка предоставлена IRINA TSYBDENOVA, она дарит скидку 10% по промокоду LeanDS.

Я написал коротенькую статью с результатами опроса по зрелости, из которой можно узнать:

- Какова медианная зрелость команд
- Что круче — канбан или скрам
- Где выше зрелость — в консалтинге или продуктовой команде

Тест Джола по зрелости процессов — Lean Data Science

Выложил в youtube📺 канал три видео с LeanDS#3 митапа:

✅ Как тестировать DS-код, Алексей Могильников
✅ Experiment review: код ревью или парный дата сайенс?, Василий Рассказов, Кисмат Магомедов
✅ Тестирование и мониторинг качества моделей и метрик, Александр Сидоров

Четвертое на подходе.

Приятного просмотра!

В субботу 29 февраля состоится бесплатная конференция X5 retail hero. Программа тут.

Там будет секция LeanDS, на которой выступят знакомые нам лица :) я (Асхат) постараюсь рекрутировать больше интересующихся темой, Леша Могильников расскажет про тестирование и Адам Елдаров с темой сравнения Scrum и Kanban. Там будет много чего еще интересного, приходите!

Адрес — Цифровое Деловое Пространство (г.Москва, ул.Покровка, 47)

Давно ничего не постил, клятый коронавирус накинул много совершенно не связанной с LeanDS работы.

На конференции onlinedays рассказывал про распределенную работу. Вроде всем понравилось. Тема такая:

Видео короткое, 20 мин.

Удаленная работа стала фактом жизни. Все внезапно стали фрилансерами. По сети гуляет все тот же текст в стиле “10 правил удаленной работы”. Он очень милый, конечно, но немного коротковатый. В видео обсуждаются следующие вопросы:

• Что меняется в распределенной команде
• Окружение и физический сетап
• Какие онлайн митинги нужны, а какие вредны
• Работа с удаленными коммуникациями в асинхронных каналах (мессенджерах, общих чатах, почте)
• Miro или google doc? Критически важные инструменты
• Управление конфликтами в распределенных командах
• Что делать с недисциплинированными участниками
• Как выстроить социальную жизнь

https://youtu.be/FCTp3xqnMc4

Мы попробовали провести воркшоп по управлению требованиями в Data Science. Кажется, получилось неплохо 🙂 Мы хотим провести еще один онлай-воркшоп раз с учетом обратной связи.

Управление требованиями в Data Science

Управление требованиями — пожалуй, самая сложная область в Data Science. Все понимают, что нужно управлять при помощи гипотез, но что это означает на практике? На вебинаре мы попробуем на практике:

Придумывать и формулировать гипотезы
Декомпозировать гипотезы
Приоритезировать гипотезы
Планировать работу команды с их помощью

Вебинар будет практическим, мы разобьемся на команды и разберем учебный проект, а в конце обсудим подход и придумаем как его улучшить.

Ведущие: Асхат Уразбаев и Алексей Могильников

🗓 Начало — 23 апреля в 19-00 онлайн
⏰ Длительность — 2 часа
✅ Регистрация на митап

Регестрируйтесь сейчас, количество мест ограничено (30 максимум)