Выложил на наш канал видео с прошлого митапа. В этот раз аудио записал отдельно, получилось получше, хотя фоновый звук все таки есть. Может кто-то знает как его победить?

Андрей Смирнов — рассказ с элементами трагикомедии о том, как развивался DS внутри ANNA — необанк-стартапа c русскими корнями в UK.

https://youtu.be/10UaOofDFpk

Адам Елдаров из YouDo рассказывает о своем достаточно длинном опыте экспериментов с процессами. У ребят очень большой опыт и DS команда c высоким уровнем зрелости. Лично я для себя очень много подчерпнул.

https://youtu.be/jmjzSor1WDU

В конце решили так просто Адама на отпускать и отдельно оставили его на вопросы. Сделал отдельное видео, оно, как мне кажется, не менее интересное, чем основное.

https://youtu.be/YvLaIE-jFNw

Посмотрите, интересная штука — AI Manifesto. Это некий аналог Agile Manifesto, заточенный под AI. Он состоит из 5 ценностей и 8 приниципов. Сайт создан буквально недавно, манифест можно подписать. Кстати, это совсем новая тема, первые 5 подписантов появились 5 декабря этого года, около 2 недель назад.
https://ai-manifesto.org/

Тест Джола зрелости вашего DS процесса. Коротенький тест, очень понятный. Надо как-нибудь потестить, интересно кто сколько наберет 🙂

https://guerrilla-analytics.net/2018/01/13/joel-test-of-data-science-maturity/

Сколько стоит качество? Разговаривали недавно с Михаилом Рожковым, он считал эффективность внедрения правильных технических практик, обеспечивающих качество. У него получилось внушительные 30-40% снижения трудозатрат.

Это не единственная и кажется не главная задача всех полезных инженерных практик.

Приведу пример. В 2010 экономисты из Гарварда Carmen Reinhart и Kenneth Rogoff опубликовали работу Growth in a Time of Debt, где показали, что при росте долга страны свыше 60% рост ВВП падает на 2%, а при долге свыше 90% примерно на половину. Эти данные неоднократно использовались в политических спорах и привели к значительным сокращениям бюджетов в очень многих странах (включая США и Европу).

Однако, оказалось, что эти уважаемые экономисты просто ошиблись, когда считали свои данные в Экселе (разбор ошибки). То есть такого закона попросту нет. Страшно представить сколько стоила миру простая ошибка в Экселе, просто потому, что ученые не привыкли тщательно тестировать свой продукт.

Глупая ошибка может привести к потерям в миллионы рублей или долларов упущенной выгоды или денег. Критически важно инвестировать в качество и данных и моделей, встраивать качество внутрь процесса.

​​НАКОНЕЦ-ТО ВСЕ УТРЯСЛОСЬ!

И мы объявляем третий митап LeanDS. В этот раз он будет посвящен управлению качеством.

В отличии от разработки ПО, результатом работы модели чаще всего являются несколько цифр. Вы уверены, что сделано правильно? Да ладно, если вы специально не верифицируете/валидируете данные и код вероятность где-то около нуля!!!

Как тестировать продукт в AI?

LeanDS3: Качество в DS проектах

1. “Можно ли тестировать искусственный интеллект? Процессы, подходы, практика” - Антон Хританков, к.ф.-.м.н.,МФТИ
2. “Как тестировать DS-код” - Алексей Могильников, DS lead, Банк
3. “Experiment review: код ревью или парный дата сайенс?” - Кисмат Магомедов, Data Scientist X5, Василий Рассказов, Agile Coach, X5

🗓 13 февраля, 18:30-21:00, Четверг

📍 Офис СкрамТрек, м.Курская, Путейский тупик, 6, 13 этаж
✅ Регистрация на событие

PS. У нас есть возможность добавить 1-2 хороших доклада. Если у вас есть что рассказать, напишите мне в личку @askhatu

На митапе 13 февраля будет еще один доклад от Александра Сидорова из HH.ru

Тестирование и мониторинг качества моделей и метрик

Системы с ML - дорогие и хрупкие. То, что ML продолжает приносить пользу, а изменения приводят к улучшениям - само собой не разумеется, нуждается в проверке, тестировании и мониторинге. Я расскажу, как мы, в HH.ru:
- проверяем ML-идеи до того, как начали писать код
- делаем метрики и baseline'ы, чтобы было с чем сравнивать модели ML
- тестируем и мониторим данные для метрик, обучения, расчёта признаков в production
- строим модели на части признаков, проводим time-based кросс-валидацию
- делаем CI/CD для пайплайнов, обучающих модели
- проверяем и мониторим качество, производительность, объём данных для моделей до выката и в prod
- проводим обычные и ухудшающие AB- и TDI-тесты
- мониторим корректность и время расчёта признаков в prod
- валидируем метрики и проверяем их для каждого эксперимента
- встраиваем качество: делаем code review, рефакторинг, применяем framework FeatureGroup, даём разработчикам и DS тестовые стенды, избегаем переключений, многозадачности и перегрузки, снабжаем всё unit- и автотестами, чтобы уменьшить вероятность ошибки человека.

Привет! Желающих посетить митап LeandDS оказалось так много, что пришлось поменять место проведения.

Митап пройдет в офисе Mail.ru Group: Ленинградский проспект, д. 39, стр. 79.

Обратите внимание, что регистрация обязательна и для входа с собой надо будет иметь паспорт или права.

Время начала регистрации участников 18-00.

Ждем вас!

Если заблудитесь, пишите на +79671344525 (Асхат)

Дружественный митап ML-Repa приглашает к себе! Темы близкие и полезные

Привет!

Пришло время объявить о первом митапе ML-REPA в этом году. Поговорим про A/B эксперименты и про инструменты для управления ML экспериментами 🚲

📅 Дата и время: 27 февраля (четверг) в 19:00
📌 Место: Офис Райффайзен банка, Проспект Андропова, д. 18, корп. 2 (м. Технопарк)
🎤 Спикеры:
- Андрей Гуревич, Dostavista, Sacred — eщё одна библиотека для протоколирования экспериментов
- Нерсес Багиян, Raiffeisenbank, Ускорение А/Б тестирования с помощью машинного обучения
- Рожков Михаил, ML-REPA, От MLflow к MLPanel: поддержка нескольких проектов, Model Registry и деплой в одном интерфейсе


Регистрация доступна по кнопке к посту. Не забудьте взять с собой паспорт📋

#events #meetup #mlrepa

Зарегестрироваться можно тут: https://ml-repa.timepad.ru/event/1257624/

В 18-30 состоится трансляция митапа LeanDS3. Ссылка будет опубликована в этом канале в 18-30. Вопросы будем принимать в чате @leands_chat. Ждем всех, кто не может прийти вживую!

Ссылка на тренсляцию тут: https://www.youtube.com/watch?v=XpIWnDFIkF8 - Welcome!
Начинаем в 18-30

Заходите в @leands_chat и задавайте там вопросы, постараюсь передать их докладчикам

Программа примерно такая. Отсутствие изменений не гарантирую :)

Огромная просьба: пройти проверку вашей зрелости процессов 🙂 Это тест на несколько минут. Мы подведем итоги в перерыв и разыграем крутой приз — LeanDS футболку, единственную в своем роде (даже у меня такой нет).

https://forms.gle/BLMG9kxhpLsB8LmC9

Ссылка на презентацию Антона Хританкова
https://tiny.cc/cyqyjz

Алексей Могильников

Магомедов и Рассказов

Александр Сидоров

Когда-то давно я понял, что если хочешь попасть на хороший митап — организуй его 🙂 . Цель всех митапов LeanDS — разобраться, как правильно делать DS проекты. Лично я вообще считаю, что грядет зима AI и ее переживут только самые приспособленные 🙂

Мы с вами разобрались с качеством, ну по крайней мере более-менее стал понятен ландшафт как именно его обеспечивать.

Цель следующего митапа — разобраться, как все-таки эффективно управлять требованиями в DS проектах. Какие существуют этапы DS проекта? Что такое на самом деле гипотеза? Как их брейнштормить? Как подготовить бриф проекта или продукта? Как избежать типичных ошибок? Нужен ли баклог DS продукта и как его собрать?

У меня есть предложение. Давайте проведем митап в два прыжка.

Прыжок первый. Проведем подготовку. Соберем небольшое количество компетентных товарищей и попробуем вечером за несколько часов забрейнштормить на эти вопросы.

Прыжок второй. На отдельном митапе расскажем о том, что у нас получилось + будет несколько классических докладов/кейсов на эту тему.

Для первого прыжка нам нужно разумное (меньше 12) количество ответственных и опытных коллег:

* Бизнес и системных аналитиков
* DS-лиды
* Agile Coach
* Менеджеры AI продуктов

Короче, предлагаю зажечь, напишите если интересно

​​На митапе LeanDS#3 по качеству проводился опросик по зрелости процессов. Я обещал победителю майку. По случайности ее выиграл Роман Тезиков из дружественного митапа ML-Repa (честно, оно само).