Начали подготовку к следующему митапу. Если у вас есть тема и вы хотите выступить — напишите мне на @askhatu. Тема должна быть связана с процессами в DS (не обязательно именно с управлением). Интересно все — как вы проводите code review, тестируете модели, как вы делаете бизнес-анализ в DS проектах/продуктах, как устроена структура команд, как вы развиваете компетенции людей и т.д. Тема может быть прям совсем узкой (как мы делаем парную работу в DS), так и максимально широкой (ппринципы управления в DS). Есть желание выступить? Напишите мне (@askhatu).

Следующий митап LeanDS2 пройдет 11 декабря в 18-30 там же, в Deworkacy.
Смотрим и обсуждаем опыт топ-компаний по построению эффективных процессов в Data Science. Кейсы YouDo и ANNA Money.
Будет еще обсуждение, но с темой пока не ясно. Возможно там решим или несколько возьмем. Предварительно: тестирование в DS, поддержка моделей, декомпозиция гипотез. Зарегаться тут:
https://leands.timepad.ru/event/1135379/

Программа митапа завтра обновилась: https://leands.timepad.ru/event/1135379/
По сути это будет два в одном.
В конце устроим обсуждение 🙂 Приходите, будет интересно.

Презентации с митапа:

Выложил на наш канал видео с прошлого митапа. В этот раз аудио записал отдельно, получилось получше, хотя фоновый звук все таки есть. Может кто-то знает как его победить?

Андрей Смирнов — рассказ с элементами трагикомедии о том, как развивался DS внутри ANNA — необанк-стартапа c русскими корнями в UK.

https://youtu.be/10UaOofDFpk

Адам Елдаров из YouDo рассказывает о своем достаточно длинном опыте экспериментов с процессами. У ребят очень большой опыт и DS команда c высоким уровнем зрелости. Лично я для себя очень много подчерпнул.

https://youtu.be/jmjzSor1WDU

В конце решили так просто Адама на отпускать и отдельно оставили его на вопросы. Сделал отдельное видео, оно, как мне кажется, не менее интересное, чем основное.

https://youtu.be/YvLaIE-jFNw

Посмотрите, интересная штука — AI Manifesto. Это некий аналог Agile Manifesto, заточенный под AI. Он состоит из 5 ценностей и 8 приниципов. Сайт создан буквально недавно, манифест можно подписать. Кстати, это совсем новая тема, первые 5 подписантов появились 5 декабря этого года, около 2 недель назад.
https://ai-manifesto.org/

Тест Джола зрелости вашего DS процесса. Коротенький тест, очень понятный. Надо как-нибудь потестить, интересно кто сколько наберет 🙂

https://guerrilla-analytics.net/2018/01/13/joel-test-of-data-science-maturity/

Сколько стоит качество? Разговаривали недавно с Михаилом Рожковым, он считал эффективность внедрения правильных технических практик, обеспечивающих качество. У него получилось внушительные 30-40% снижения трудозатрат.

Это не единственная и кажется не главная задача всех полезных инженерных практик.

Приведу пример. В 2010 экономисты из Гарварда Carmen Reinhart и Kenneth Rogoff опубликовали работу Growth in a Time of Debt, где показали, что при росте долга страны свыше 60% рост ВВП падает на 2%, а при долге свыше 90% примерно на половину. Эти данные неоднократно использовались в политических спорах и привели к значительным сокращениям бюджетов в очень многих странах (включая США и Европу).

Однако, оказалось, что эти уважаемые экономисты просто ошиблись, когда считали свои данные в Экселе (разбор ошибки). То есть такого закона попросту нет. Страшно представить сколько стоила миру простая ошибка в Экселе, просто потому, что ученые не привыкли тщательно тестировать свой продукт.

Глупая ошибка может привести к потерям в миллионы рублей или долларов упущенной выгоды или денег. Критически важно инвестировать в качество и данных и моделей, встраивать качество внутрь процесса.

​​НАКОНЕЦ-ТО ВСЕ УТРЯСЛОСЬ!

И мы объявляем третий митап LeanDS. В этот раз он будет посвящен управлению качеством.

В отличии от разработки ПО, результатом работы модели чаще всего являются несколько цифр. Вы уверены, что сделано правильно? Да ладно, если вы специально не верифицируете/валидируете данные и код вероятность где-то около нуля!!!

Как тестировать продукт в AI?

LeanDS3: Качество в DS проектах

1. “Можно ли тестировать искусственный интеллект? Процессы, подходы, практика” - Антон Хританков, к.ф.-.м.н.,МФТИ
2. “Как тестировать DS-код” - Алексей Могильников, DS lead, Банк
3. “Experiment review: код ревью или парный дата сайенс?” - Кисмат Магомедов, Data Scientist X5, Василий Рассказов, Agile Coach, X5

🗓 13 февраля, 18:30-21:00, Четверг

📍 Офис СкрамТрек, м.Курская, Путейский тупик, 6, 13 этаж
✅ Регистрация на событие

PS. У нас есть возможность добавить 1-2 хороших доклада. Если у вас есть что рассказать, напишите мне в личку @askhatu

На митапе 13 февраля будет еще один доклад от Александра Сидорова из HH.ru

Тестирование и мониторинг качества моделей и метрик

Системы с ML - дорогие и хрупкие. То, что ML продолжает приносить пользу, а изменения приводят к улучшениям - само собой не разумеется, нуждается в проверке, тестировании и мониторинге. Я расскажу, как мы, в HH.ru:
- проверяем ML-идеи до того, как начали писать код
- делаем метрики и baseline'ы, чтобы было с чем сравнивать модели ML
- тестируем и мониторим данные для метрик, обучения, расчёта признаков в production
- строим модели на части признаков, проводим time-based кросс-валидацию
- делаем CI/CD для пайплайнов, обучающих модели
- проверяем и мониторим качество, производительность, объём данных для моделей до выката и в prod
- проводим обычные и ухудшающие AB- и TDI-тесты
- мониторим корректность и время расчёта признаков в prod
- валидируем метрики и проверяем их для каждого эксперимента
- встраиваем качество: делаем code review, рефакторинг, применяем framework FeatureGroup, даём разработчикам и DS тестовые стенды, избегаем переключений, многозадачности и перегрузки, снабжаем всё unit- и автотестами, чтобы уменьшить вероятность ошибки человека.

Привет! Желающих посетить митап LeandDS оказалось так много, что пришлось поменять место проведения.

Митап пройдет в офисе Mail.ru Group: Ленинградский проспект, д. 39, стр. 79.

Обратите внимание, что регистрация обязательна и для входа с собой надо будет иметь паспорт или права.

Время начала регистрации участников 18-00.

Ждем вас!

Если заблудитесь, пишите на +79671344525 (Асхат)

Дружественный митап ML-Repa приглашает к себе! Темы близкие и полезные

Привет!

Пришло время объявить о первом митапе ML-REPA в этом году. Поговорим про A/B эксперименты и про инструменты для управления ML экспериментами 🚲

📅 Дата и время: 27 февраля (четверг) в 19:00
📌 Место: Офис Райффайзен банка, Проспект Андропова, д. 18, корп. 2 (м. Технопарк)
🎤 Спикеры:
- Андрей Гуревич, Dostavista, Sacred — eщё одна библиотека для протоколирования экспериментов
- Нерсес Багиян, Raiffeisenbank, Ускорение А/Б тестирования с помощью машинного обучения
- Рожков Михаил, ML-REPA, От MLflow к MLPanel: поддержка нескольких проектов, Model Registry и деплой в одном интерфейсе


Регистрация доступна по кнопке к посту. Не забудьте взять с собой паспорт📋

#events #meetup #mlrepa

Зарегестрироваться можно тут: https://ml-repa.timepad.ru/event/1257624/

В 18-30 состоится трансляция митапа LeanDS3. Ссылка будет опубликована в этом канале в 18-30. Вопросы будем принимать в чате @leands_chat. Ждем всех, кто не может прийти вживую!

Ссылка на тренсляцию тут: https://www.youtube.com/watch?v=XpIWnDFIkF8 - Welcome!
Начинаем в 18-30

Заходите в @leands_chat и задавайте там вопросы, постараюсь передать их докладчикам

Программа примерно такая. Отсутствие изменений не гарантирую :)

Огромная просьба: пройти проверку вашей зрелости процессов 🙂 Это тест на несколько минут. Мы подведем итоги в перерыв и разыграем крутой приз — LeanDS футболку, единственную в своем роде (даже у меня такой нет).

https://forms.gle/BLMG9kxhpLsB8LmC9