Метод управления DS проектами

Асхат Уразбаев, основатель Scrumtrek, специалист по гибким подходам к бизнесу с более чем 12-летним опытом Agile-коучинга.

На докладе мы поговорим о причинах проблем в DS-проектах. Мы увидим, что проблемы совсем не в технической части и обсудим как правильно построенный процесс DS-проекта может помочь исправить ситуацию.

https://www.dropbox.com/s/l6vgfgaha9n2zh7/LeanDS1-Urazbaev.pptx

ВСЕ ВИДЕО с митапа LeanDS на канале LeanDS в youtube:

https://www.youtube.com/channel/UCX5pbrhMKlK_M1w1ij73exg

В следующий раз запишем получше, но вроде все вполне различимо.

Для тех, кто хочет поучаствовать в работе LeanDS — я создал чат https://t.iss.one/leands_chat

Если вам интересно:
- Поконтрибьютить контентом (статьями, выступлениями)
- Поучаствовать в обсуждениях
- Помочь с организацией мероприятий
- Позадавать свои вопросы и получить ответы

Добавляйтесь: https://t.iss.one/leands_chat

Очень годная миникнижка по процессу в DataScience от Ciara Byrne “Development Workflows for Data Scientists”. Она коротенькая, на 20 страниц. Ciara описывает некий общий (достаточно очевидный) воркфлоу для DS, но снабжает кучей примеров из разных компаний типа AirBnb, GitHub, ScotiaBank и множества других (мне лично не известных).

https://resources.github.com/downloads/development-workflows-data-scientists.pdf

Выложил итоги обсуждения с прошлого митапа LeanDS на ютуб-канал. Если не были, рекомендую глянуть, они короткие, по несколько минут.

Артефакты DS проекта и где их хранить
https://www.youtube.com/watch?v=SLEtFBTjXIU

Как вовлечь бизнес в работу DS
https://www.youtube.com/watch?v=bhItPQbafHk

Структура DS команды
https://www.youtube.com/watch?v=EERqcacqnac

Начали подготовку к следующему митапу. Если у вас есть тема и вы хотите выступить — напишите мне на @askhatu. Тема должна быть связана с процессами в DS (не обязательно именно с управлением). Интересно все — как вы проводите code review, тестируете модели, как вы делаете бизнес-анализ в DS проектах/продуктах, как устроена структура команд, как вы развиваете компетенции людей и т.д. Тема может быть прям совсем узкой (как мы делаем парную работу в DS), так и максимально широкой (ппринципы управления в DS). Есть желание выступить? Напишите мне (@askhatu).

Следующий митап LeanDS2 пройдет 11 декабря в 18-30 там же, в Deworkacy.
Смотрим и обсуждаем опыт топ-компаний по построению эффективных процессов в Data Science. Кейсы YouDo и ANNA Money.
Будет еще обсуждение, но с темой пока не ясно. Возможно там решим или несколько возьмем. Предварительно: тестирование в DS, поддержка моделей, декомпозиция гипотез. Зарегаться тут:
https://leands.timepad.ru/event/1135379/

Программа митапа завтра обновилась: https://leands.timepad.ru/event/1135379/
По сути это будет два в одном.
В конце устроим обсуждение 🙂 Приходите, будет интересно.

Презентации с митапа:

Выложил на наш канал видео с прошлого митапа. В этот раз аудио записал отдельно, получилось получше, хотя фоновый звук все таки есть. Может кто-то знает как его победить?

Андрей Смирнов — рассказ с элементами трагикомедии о том, как развивался DS внутри ANNA — необанк-стартапа c русскими корнями в UK.

https://youtu.be/10UaOofDFpk

Адам Елдаров из YouDo рассказывает о своем достаточно длинном опыте экспериментов с процессами. У ребят очень большой опыт и DS команда c высоким уровнем зрелости. Лично я для себя очень много подчерпнул.

https://youtu.be/jmjzSor1WDU

В конце решили так просто Адама на отпускать и отдельно оставили его на вопросы. Сделал отдельное видео, оно, как мне кажется, не менее интересное, чем основное.

https://youtu.be/YvLaIE-jFNw

Посмотрите, интересная штука — AI Manifesto. Это некий аналог Agile Manifesto, заточенный под AI. Он состоит из 5 ценностей и 8 приниципов. Сайт создан буквально недавно, манифест можно подписать. Кстати, это совсем новая тема, первые 5 подписантов появились 5 декабря этого года, около 2 недель назад.
https://ai-manifesto.org/

Тест Джола зрелости вашего DS процесса. Коротенький тест, очень понятный. Надо как-нибудь потестить, интересно кто сколько наберет 🙂

https://guerrilla-analytics.net/2018/01/13/joel-test-of-data-science-maturity/

Сколько стоит качество? Разговаривали недавно с Михаилом Рожковым, он считал эффективность внедрения правильных технических практик, обеспечивающих качество. У него получилось внушительные 30-40% снижения трудозатрат.

Это не единственная и кажется не главная задача всех полезных инженерных практик.

Приведу пример. В 2010 экономисты из Гарварда Carmen Reinhart и Kenneth Rogoff опубликовали работу Growth in a Time of Debt, где показали, что при росте долга страны свыше 60% рост ВВП падает на 2%, а при долге свыше 90% примерно на половину. Эти данные неоднократно использовались в политических спорах и привели к значительным сокращениям бюджетов в очень многих странах (включая США и Европу).

Однако, оказалось, что эти уважаемые экономисты просто ошиблись, когда считали свои данные в Экселе (разбор ошибки). То есть такого закона попросту нет. Страшно представить сколько стоила миру простая ошибка в Экселе, просто потому, что ученые не привыкли тщательно тестировать свой продукт.

Глупая ошибка может привести к потерям в миллионы рублей или долларов упущенной выгоды или денег. Критически важно инвестировать в качество и данных и моделей, встраивать качество внутрь процесса.

​​НАКОНЕЦ-ТО ВСЕ УТРЯСЛОСЬ!

И мы объявляем третий митап LeanDS. В этот раз он будет посвящен управлению качеством.

В отличии от разработки ПО, результатом работы модели чаще всего являются несколько цифр. Вы уверены, что сделано правильно? Да ладно, если вы специально не верифицируете/валидируете данные и код вероятность где-то около нуля!!!

Как тестировать продукт в AI?

LeanDS3: Качество в DS проектах

1. “Можно ли тестировать искусственный интеллект? Процессы, подходы, практика” - Антон Хританков, к.ф.-.м.н.,МФТИ
2. “Как тестировать DS-код” - Алексей Могильников, DS lead, Банк
3. “Experiment review: код ревью или парный дата сайенс?” - Кисмат Магомедов, Data Scientist X5, Василий Рассказов, Agile Coach, X5

🗓 13 февраля, 18:30-21:00, Четверг

📍 Офис СкрамТрек, м.Курская, Путейский тупик, 6, 13 этаж
✅ Регистрация на событие

PS. У нас есть возможность добавить 1-2 хороших доклада. Если у вас есть что рассказать, напишите мне в личку @askhatu

На митапе 13 февраля будет еще один доклад от Александра Сидорова из HH.ru

Тестирование и мониторинг качества моделей и метрик

Системы с ML - дорогие и хрупкие. То, что ML продолжает приносить пользу, а изменения приводят к улучшениям - само собой не разумеется, нуждается в проверке, тестировании и мониторинге. Я расскажу, как мы, в HH.ru:
- проверяем ML-идеи до того, как начали писать код
- делаем метрики и baseline'ы, чтобы было с чем сравнивать модели ML
- тестируем и мониторим данные для метрик, обучения, расчёта признаков в production
- строим модели на части признаков, проводим time-based кросс-валидацию
- делаем CI/CD для пайплайнов, обучающих модели
- проверяем и мониторим качество, производительность, объём данных для моделей до выката и в prod
- проводим обычные и ухудшающие AB- и TDI-тесты
- мониторим корректность и время расчёта признаков в prod
- валидируем метрики и проверяем их для каждого эксперимента
- встраиваем качество: делаем code review, рефакторинг, применяем framework FeatureGroup, даём разработчикам и DS тестовые стенды, избегаем переключений, многозадачности и перегрузки, снабжаем всё unit- и автотестами, чтобы уменьшить вероятность ошибки человека.

Привет! Желающих посетить митап LeandDS оказалось так много, что пришлось поменять место проведения.

Митап пройдет в офисе Mail.ru Group: Ленинградский проспект, д. 39, стр. 79.

Обратите внимание, что регистрация обязательна и для входа с собой надо будет иметь паспорт или права.

Время начала регистрации участников 18-00.

Ждем вас!

Если заблудитесь, пишите на +79671344525 (Асхат)

Дружественный митап ML-Repa приглашает к себе! Темы близкие и полезные

Привет!

Пришло время объявить о первом митапе ML-REPA в этом году. Поговорим про A/B эксперименты и про инструменты для управления ML экспериментами 🚲

📅 Дата и время: 27 февраля (четверг) в 19:00
📌 Место: Офис Райффайзен банка, Проспект Андропова, д. 18, корп. 2 (м. Технопарк)
🎤 Спикеры:
- Андрей Гуревич, Dostavista, Sacred — eщё одна библиотека для протоколирования экспериментов
- Нерсес Багиян, Raiffeisenbank, Ускорение А/Б тестирования с помощью машинного обучения
- Рожков Михаил, ML-REPA, От MLflow к MLPanel: поддержка нескольких проектов, Model Registry и деплой в одном интерфейсе


Регистрация доступна по кнопке к посту. Не забудьте взять с собой паспорт📋

#events #meetup #mlrepa