🔍Интерпретация модели vs интерпретация процесса

Я часто говорю и пишу про простоту и интерпретируемость решений, потому что для приживаемости решений в промышленности без этого ну очень сложно. Даже утверждаю, что удовлетворяющее пользователя решение без ML лучше решения с ML (почти всегда), но об этом еще поговорим в будущем. В этом посте хотелось бы затронуть тему интерпретируемости в целом и поделиться докладом и блокнотом к нему. На мой взгляд, один из лучших докладов про интерпретируемость ML моделей, позволяющий “открыть глаза” и прояснить некоторые искажения. Рекомендую смотреть дата сайентистам разного уровня.

Немного тезисов доклада:
• Важно не путать, говоря об интерпретации, о модели или о процессе идет речь. Почти всегда мы интерпретируем модель, то есть говорим, как себя ведет модель и почему
• Нужно аккуратно использовать веса линейных моделей при интерпретации процесса. И еще простая истина - влияние признаков является значимым только при условии, что взаимосвязь линейна.🤯
• Предикт модели действительно может не зависить от признаков, получивших нулевые веса при L1 регуляризации, но это не значит, что моделируемая величина (таргет) от этих признаков не зависит
• В качестве метода довольно честной оценки влияния или предсказательной способности признака на таргет можно использовать качество предсказаний модели, построенной на каждом отдельном признаке (кол-во моделей = кол-ву признаков)
• Процесс максимально честной интерпретации процесса может быть довольно сложным и трудозатратным (да-да, SHAP values тоже не являются спасением, в докладе и про это есть)
• И еще много всего интересного в докладе

⁉️🤔Напоследок скажу, что доклад подсвечивает проблему и хорошо ее описывает, но, к сожалению, не дает методологии, как с проблемами и искажениями при интерпретации бороться. Только подсказки, где можно ошибиться

Стоило мне совсем недавно написать, что секции "ИИ в промышленности" давно нет на AIJourney, как меня пригласили выступить на этой секции на AIJ'23. Иронично 🌈

В выходной день (больше ведь нечем заняться?!) спешу поделиться публично доступными видео с докладами! 📱Спикеры из Conundrum, Норникель, Росатом, Сибур и других компаний, непосредственно связанных с применением ML, AI и анализа данных в промышленности.

Немного о моем докладе: в докладе рассказано о задачах машинного обучения в промышленности, а также затронуты вопросы особенностей и проблем в промышленных данных, оценки потенциальных эффектов, проведения тестирования решения. Также представлены особенности внедрения и, что важнее, рекомендации для успешного внедрения машинного обучения в промышленности, которые я собрал из своего опыта и опыта многих коллег. Наконец, немного затронул вопросы трендов в машинном обучении в промышленности.

Кстати, интересно ваше мнение по поводу затронутых в докладе вопросов! Презентация уже традиционно ждет в комментариях👇

🌍 Какие задачи решает машинное обучение в промышленности?

На сегодняшний день уже было продемонстрировано, что машинное обучение может решить множество задач на производстве, в энергетике, добыче и других отраслях промышленности. Конечно, специфичных постановок задач в разных отраслях и разных технологических процессах можно найти огромное количество, но так или иначе мы всегда сводим их к понятным типовым формулировкам. Картинка (на самом деле слайд из моей недавной презентации) систематизирует довольно большое число типовых задач, причем верхняя часть собрана из моего практического опыта, а нижняя взята из довольно интересной обзорной статьи (как скачивать тексты статей с помощью scihub учил в этом посте).

Большой пост с подробным разбором всех задач в разработке, а пока выделю наиболее популярные:
• Оптимизация процесса и входных условий/материалов. Причем задача может решаться как в виде рекомендаций, так и в виде автоматического управления процессом (apc). Решение именно этих задач чаще всего самое экономически выгодное.
• Список задач ТОиР (мониторинг, поиск и локализация аномалий, прогноз RUL). Об этом много пишу, материалы в оглавлении. Задачи лежат на поверхности, ML действительно хорошо дополняет методы неразрушающего контроля. Но есть проблемы с экономическим эффектом и успешностью проектов, так как данных о поломках бывает слишком мало.
• Прогноз и контроль качества продукции. Пересекается с первым пунктом, но здесь также речь об автоматизации и улучшении процессов диагностики продукции. Часто применимо CV и классический ML.

💪Чем выше уровень дата сайентиста, тем больше различных постановок задач полезно знать и иметь представление об их решении. Лучше опыта участия в различных проектах по-прежнему ничего не придумали, поэтому так ценятся консультанты, посмотревшие на десятки бизнесов и процессов за короткое время. Но и насмотренность можно развивать, например, перенимая опыт коллег из публичных докладов и статей, напомню, что собираю список кейсов применения ML в промышленности здесь.

Анализ и прогнозирование временных рядов и можно ли зарабатывать с их помощью 🪙
Недавно стал гостем в Machine Learning podcast (можно слушать на разных площадках).
Канал горячо рекомендую, там помимо подкастов с кучей интересных гостей (сам люблю послушать) еще много полезных активностей. 🧘‍♀️

О выпуске
• Поговорили про временные ряды и самую любимую задачу — прогнозирование. Конечно, не забыли и про промышленность.
• Много теории, поэтому практику охватить не успели, надеюсь, получится о практических кейсах рассказать отдельно.
• Ценным может быть список материалов, которые упоминал в выпуске.

Не первый раз участвую в подкастах и признаюсь, что такой формат мне нравится чуть больше, чем лекции и доклады из-за возможности вести диалог, даже в докладах стараюсь больше общаться с аудиторией, когда это уместно 🤓

👨‍💻Где и что я публикую?

Так как я публикую материалы сразу на нескольких площадках (и люблю все систематизировать 🙂) — решил собрать всю информацию в одном посте. Кроме канала можно никуда не подписываться, так как рано или поздно все публикации появляются здесь — в этом, отчасти, и есть его замысел. Давайте к сути. Площадки:
• GitHub — мои опенсорс проекты и списки интересных мне ссылок/проектов/репозиториев по самым разным темам
• scholar.google и researchgate —информация о моих научных работах
• habr — большие статьи на околотехнические темы
• medium — в основном скорректированные и адаптированные переводы статей с хабра
• vc — статьи на более общие темы (хакатоны, развитие в DS) или более короткие заметки, не доросшие до полноценной статьи
• kaggle — для публикации датасетов (сам тоже там люблю поискать датасеты для каких-нибудь r&d проектов, а вот на соревнования времени совсем не хватает)

Зачем мне эти площадки?
Я использую эти площадки, а также публикую там материалы для той же систематизации своих знаний или бесконечных списков из ссылок на интересные материалы.

Помогают ли профили в карьере?
Я всегда рекомендую студентам или слушателям моих докладов участвовать в опенсорсе (GitHub/kaggle), так как наличие опыта соревнований, пет проектов, контрибьютинга выгодно отличает таких кандидатов на ранних этапах карьеры, не считая пользы для развития навыков и приобретения новых знаний. Хотя я не уверен, что сейчас мои профили имеют какое-то большое значение для заказчиков/работодателей. Не обязательно заводить много профилей, можно сконцентрироваться на чем-то одном и понемного развивать. Кстати, указывать в резюме пустые профили на кэгл или гитхаб — это моветон (на мой взгляд), поучаствуйте хоть в чем-то или запилите классификацию кошечек и собачек, отличный пет-проект! 🐈‍⬛

👨‍💻Популярность ИИ в промышленности по данным разных аналитических отчетов. Часть 1

В начале своих обзорных докладов и лекций стараюсь дать оценку места Промышленности среди остальных отраслей экономики.
tl;dr: популярность ИИ и ML в промышленности далека от ритейла, маркетинга и др.
⁉️Среди объяснений: низкая автоматизация производств, низкая рентабельность большинства тех. процессов, нехватка кадров, проблемы с данными, консерватизм отрасли.

Довольно показательна актуальная на 2021 год карта компаний, занимающихся ИИ в России. Немного моих мыслей:
• Digital Petroleum учтена 3 раза, Mechanica AI уже закрылась, есть неучтенные компании, например, Conundrum, но порядок цифр, кажется, что верный
• Большую роль играют "дочки" крупных холдингов: Северсталь диджитал, Цифровые технологии и платформы (еврохим), Цифрум (росатом), Сибур диджитал и др, которые не попали в список из-за методологии
• Более интересным мне показалась другое число: 0.2% (🧐) — это суммарная выручка компаний из сегмента "Промышленность" на 2020 г. Для сравнения у сегмента FinTech — 17.5%
• Есть вопросы к методологии и к глубине анализа авторами именно сегмента "Промышленность"

Распределение по классам задач
"IoT analytics research 2019 — Industrial AI market report 2019-2025" дает такое распределение кол-ва кейсов ИИ по направлениям:
• ТОиР — 24.3%
• Контроль и управление качеством — 20.5%
• Оптимизация процессов, включая советчики и управление процессом (apc) — 16.3%
• Остальные задачи (оптимизация цепочек поставок, кибербезопасность и тд) — значительно меньше
С топ-3 и их значительным отрывом склонен согласиться, но думаю, что "Оптимизация процессов" набирает популярность, а "ТОиР" немного теряет.

Распределение по отраслям промышленности
Согласно отчету “Технологии искусственного интеллекта. АПР Москвы, 2019" распределение следующее:
• 44 % — в дискретном производстве (машиностроение, авиастроение и тд)
• 22 % — в процессном производстве (металлургия, химия, добыча и тд)
• 11 % — в электроэнергетике
• 23 % — научные работы университетов (🧐)

🔭Распознавание дефектов изоляции линий электропередач с помощью машинного зрения (CV). Часть 1

Наткнулся на такое соревнование, правда уже после его окончания. Интересен пост в обсуждениях к страничке соревнования на кэггле под названием "Что это за ужас?". Пересказывать не буду — стоит перейти и почитать (лишь добавлю, что проблемы на хакатонах — не редкость, писал о своих травмах своем опыте здесь)🏌️

Ну а нам интересно другое: еще одна задача, решающаяся с помощью ML в энергетике, данные и код. Так как с задачей уже сталкивался, поделюсь наработками из прошлого в дополнение к соревнованию.

Задача
Необходимо обнаруживать дефекты изоляторов (пример на картинке) линий электропередач (оплавления, сколы, трещины и др). Несмотря на наличие различных методов контроля и диагностики повреждений, популярным остается метод визуального контроля. Чтобы сделать его более эффективным можно использовать сетап дрон+CV.

Подход к решению
Чтобы автоматизировать обработку данных с дрона, можно применять CV, в частности, сначала можно решать задачу сегментации (выделять изоляторы, пример на картинке к посту), а после (или вместо) решать задачу классификации (без повреждений/с повреждениями + тип повреждений).

Детально про задачу и подходы к решению с результатами можно почитать моих коллег из сколтеха по проекту здесь.

Данные
Данные с соревнования из начала поста доступны на кэггле и по ссылкам в описании, но здесь доступен еще один архив данных с разметкой для задач сегментации изоляторов и классификации дефектов.

Код
Пара блокнотов доступна на кэггле, более представительный блокнот с решением задач сегментации (Unet) и классификации (VGG) здесь.

Отличный потенциальный пет-проект или пример прикладного ресерча без научных открытий. 😼

Поздравляю всех с Новым годом!✨✨✨

Пост с подведением итогов года будет позже, а пока подобьем важные статистические показатели для канала:

🥚В 2023 году канал появился (8 месяцев и 12 дней назад)

💪За 8 месяцев канал вырос до 850+ подписчиков

😋Написано 90+ содержательных постов

Благодарен каждому из вас за доверие и участие! Stay tuned

⏳Подведение итогов года и постановка целей на следующий

Не будем задаваться вопросами, необходимо ли ставить цели, не переоценен ли эффект от этого, зачем структурировать и делать этот процесс регулярным, просто скажу, что для меня это работает. Поэтому перейду сразу к своим правилам подведения итогов и постановки целей на год.

1️⃣Прохожу этот процесс 4ый раз, каждый год внося правки и слегка улучшая (меняю детализацию, правила приоритезации, категории)

2️⃣Занимает процесс несколько дней: как правило, подвожу итоги года за 1 присест, а собираю планы на следующий за 2-3, даю себе время подумать, чего бы мне еще хотелось и что я мог забыть. Предпочитаю сделать это до наступления НГ, но можно и на январски праздниках

3️⃣На сегодняшний день выделяю условные 4 группы целей: работа, академия+опенсорс, личный бренд, быт и отношения. Не стараюсь поставить цели во всех сферах жизни, в некоторых оставляю свободу

4️⃣Начинаю процесс с подведения итогов прошлого года, расставляя галочки напротив выполненных целей и дописывая комментарии (например: не выполнил, потому что отпало желание/сменились приоритеты или потому что не успел, но переношу на следующий год). Дописываю дополнительные незапланированные результаты. Анализирую, почему те или иные цели не были достигнуты, но обычно все ответы уже есть на поверхности

5️⃣Нормально отношусь к невыполненным целям: за прошлый год не достиг 10 из 27, 4 перенес на 2024. Это еще и часть терапии — умение снижать требования к себе, приоритезировать отдых и здоровье над желанием сделать больше.

6️⃣После анализа результатов прошлого года перехожу к плану на следующий год. Стараюсь ставить достижимые цели и выбирать только те, которые подходят одновременно под 2 описания: "буду очень рад, если получится это сделать" и "интересно этим заниматься или это уже надо закончить". Не очень люблю процессные цели (хотя такие каждый год есть), предпочитаю те, в которых описан конкретный результат, даже с конкретным числом

7️⃣Выделяю приоритетную категорию, на которой фокусируюсь больше, и несколько (1-3) приоритетных целей, которые надо достичь несмотря ни на что. Выбираю, ориентируясь на то, насколько развитие в каком-то направлении приблизит меня к достижению глобальных жизненных целей

8️⃣Веду все записи ручкой в блокноте, но итоговым план на год дополнительно переношу в Trello, чтобы проще было к нему обращаться в течение года, например, во время ежедневной работы над своим расписанием и планом на день (все свои дела веду в Trello)

9️⃣В течение года редко перерабатываю цели на год, хотя иногда делаю (это обычно происходит при возникновении внешних факторов и новых возможностей). То есть живу более-менее по выбранному плану, но могу скорректировать численные показатели в большую сторону

🔟 У меня не возникает большой проблемы помнить о плане на год, потому что мне в принципе проще жить с планом, так что для меня это скорее необходимость, чем дополнительное ограничение. Поэтому у меня и не возникает проблемы с недостижением целей из-за того, что я про них забыл и вспомнил только на следующий год во время подведения итогов.

Про мои принципы формирования краткосрочных планов на неделю/день, составление расписание и как в течение года я формирую дела, чтобы достигать больших целей напишу отдельно.

Опыт преподавания в Data Science

Еще одним моим «хобби», помимо исследований, является преподавание. О моем опыте преподавания в конце поста, а сейчас немного мыслей.

Принято считать, что те, кто занимаются преподаванием либо уже не востребованы в индустрии, либо изначально являются преподавателями без особого опыта в индустрии. Хотя для ДСов, по моему опыту, такое мнение не справедливо. Я видел большое число примеров работающих и востребованных «практиков» или ученых, занимающихся преподаванием. Конечно, есть и более классические примеры преподавателей, но их не так много.
Допускаю, что в действительности картина другая, но делюсь своим опытом.

Почему в анализе данных много преподавателей-практиков? 🗺
Мне кажется, что все просто: область анализа данных относительно молодая, еще не успела сформироваться большая каста преподавателей.
Но это и хорошо, так как обычно востребованных специалистов сложно затащить читать курс, максимум — гостевые редкие лекции (спойлер: я к этому и пришел). При этом польза от участия практикующих и успешных специалистов в преподавании колоссальная. Анализ данных и машинное обучение динамично развивается, и сегодня публикуются статьи, завтра появляются опен cорс разработки, а послезавтра — это уже используется в индустрии. И речь не только про чатгпт, но и про менее популярные и узконаправленные разработки.

Мой опыт 👋
Опыт получился довольно обширным, хотя я и не нырнул в преподавание с головой. Начал преподавать в 2019 году, когда учился в аспирантуре. Первым был небольшой курс для школьников на тему «интернет вещей», после чего делал и читал курсы в Росатоме, МФТИ и даже делал курс для онлайн-школы на заказ (видео к посту). Получалось с переменным успехом и отнимало слишком много сил и времени, поэтому сейчас я перестал читать большие курсы где-либо. Чтобы утолять жажду делиться знаниями — пишу статьи, завел канал, иногда выступаю на конференциях, являюсь научруком и членом ГЭК, а также читаю отдельные платные лекции и вебинары (правда в последнее время нечасто).

🛫 Зависимость успеха ИИ проекта в промышленности от командировок на активы

Важный аспект работы над решением на основе данных (AI-, ML-based) в промышленности — командировки на актив. Почти все, что я ниже отношу к командировкам, можно делать удаленно, но это никогда не работает правильно:
• Нет доступа к нужным сотрудникам. Можно просто не знать и не познакомиться с заинтересованным и вовлеченным сотрудником заказчика.
• Проблемы коммуникации в онлайне. Мало, кто будет охотно делиться реальными проблемами в работе по скайпу «с какими-то датасайентистами».
• Сотрудники физически не доступны для связи из-за занятности на активах и нахождения в цеху.

Рассказываю со стороны senior и team lead DS'а, потому что считаю, что умение общаться с заказчиком и иметь соответствующие софт скиллы — это мастхев для senior'а и выше. При этом проектные менеджеры и бизнес-аналитики имеют свои задачи в общении с заказчиком, но могут заменять и дополнять коммуникацию датасайентистов.

🥋 Зачем они нужны и какие задачи?
• На этапе обследования/PoC/в начале проекта: для лучшего знакомства с технологическим процессом, персоналом, заказчиком, ЛПР, для уточнения требований (неформальных), лучшего понимания проблем и особенностей проекта, для повышения оперативности получения данных и информации. Личный контакт в промышленности работает значительно лучше, чем онлайн общение.
• На этапе разработки решения: для повышения оперативности получения дополнительных данных и информации, получения обратной связи, брейнштормов с вовлеченными сотрудниками заказчика, и сбора эвристик/экспертных правил из головы технологов/операторов/мастеров и тд.
• На этапе пуско-наладочных работ и опытно-промышленных испытаний: для лучшего контроля работ, оперативного получения более полной обратной связи, для внесения оперативных изменений в решение при необходимости, для обеспечения прозрачности (в результатах и работе решения) перед заказчиком и снятия напряженности (да-да, придется немного подрабатывать психологом) в случае каких-либо замечаний/проблем.
• На этапе защиты результатов/эффектов: так как это очень часто один из самых коммуникационно сложных этапов проекта, то личное общение позволяет кулуарно обсудить всю поднаготную, найти компромиссы при необходимости и обеспечить прозрачность и ясность для принятия решений и подписания протоколов.

💪 Как сделать командировки наиболее эффективными?
• В начале проекта и на этапе разработки решения полезно съездить в командировку всем членам проекта (ДСам любого уровня), чтобы познакомиться с тех. процессом, информацией о процессе со слов тех. персонала, посмотреть и лучше понять объект моделирования.
• Важно учиться разговаривать на языке сотрудников производства, чтобы доносить свои мысли и интервьюировать. У датасайентистов с этим бывают большие проблемы!
• Командировки стоит делать регулярными, чтобы налаживать контакт на всем протяжении проекта, регулярно получать обратную связь, обеспечивать прозрачность, отвечать на вопросы и снимать напряженность, а не пропадать, возвращаясь с новой версией непонятного решения. В идеале стоит обеспечивать практически непрерывное присутствие на активе кого-то от проектной команды.

Выводы
Интересно бы посмотреть на статистику на большой выборке (я такую не встречал), но мое мнение — вероятность уложиться в срок и бюджет и обеспечить приживаемость решения сильно зависят от командировок, а вот успешность разработки решения зависит, но не так сильно. Больше влияют другие факторы, например, качество и количество данных.

☝️Аугментация временных рядов. Часть 2
Картинка с методами здесь, часть 1 здесь

Делюсь любопытной статьей про аугментацию временных рядов с примерами кода.

Чем любопытна?
• Статья представляет относительно новую библиотеку для аугментации временных рядов — TSGM. Есть и github и статья на arxiv.
• Помимо распространенных методов аугментации, которые я показывал в предыдущем посте, представлен еще один — Dynamic Time Warping Barycentric Average (DTWBA). Коротко о методе: основан на минимизации осредненной метрики DTW одного ряда (заданного извне или прямо выбранного из выборки) до всех рядов выборки. Вариации и применение метода представлены в статье 1 и статье 2.
• В статье на архиве исследуется процедура оценки качества синтезированных данных или качество аугментации.

Давайте на последнем пункте остановимся подробнее.

👨‍🏫А зачем вообще нужна аугментация временных рядов?
Для начала определим основные причины аугментации:
• Очевидная и частая причина — недостаточный размер датасета для достижения необходимых метрик при обучении модели
• Еще одна причина (встречается и в промышленности) — генерация синтетических данных для передачи подрядчику/исполнителю для проведения исследований с данными. Иногда позволяет снижать риски и делиться чувствительной информацией

🧮Как оценить качество аугментации?
Чаще всего качество аугментации оценивают просто по приросту метрик модели, обученной на исходной и аугментированной выборках данных. Это справделиво, когда мы хотим повысить качество моделей: качество повысилось — аугментация удачная, все просто. Но статья предлагает еще несколько вариантов оценки:
• Посчитать для исходных и сгенерированных временных рядов схожесть/расстояние, например, Евклидово
• Predictive consistency: посчитать разницу значений метрик качества между двумя моделями на исходных данных и на сгенерированных
• Privacy: насколько исходные данные могут быть объяснены моделью, обученной только на синтетических сгенерированных данных
• Fairness: оценка снижения или устранения перекосов решений модели в сторону миноритарного класса
• Diversity: оценка соответствия распределению и рассредоточевание сгенерированных данных всем областям или бинам на кривой плотности вероятности
• Качественный анализ: визуализация и сравнение данных, например, с помощью t-SNE
• Ну и не забудем про прирост качества модели при аугментации данных

На прошлой неделе выступил на конференции ИЦК Химия в секции “Применение ИИ для компаний химической отрасли”.
Приятно было увидеть много бывших коллег, знакомых и друзей + завести новые знакомства! 🤝
Рассказал про опыт внедрения машинного обучения в алгоритмы управления и оптимизации флотации. Кстати, для меня это был первый опыт выступления с докладом от "Рокет контрол" (ex-конандрум).

На удивление, конференция была очень насыщенная: послушал и подискутировал про APC/RTO/подсказчики, про управление промышленными проектами с data science, про эффекты и особенности решений, конечно, про флотацию (особенно интересно для меня в последнее время), ну и куда же без промышленных платформ.

Моя презентация как всегда в комментариях👇

Недавно провел очередную лекцию на тему ИИ в промышленности. Получился мягкий dive-in в индустрию. Прикрепляю запись, лекция скорее для студентов, будет интересна для начинающих в профессии.

Кстати, после лекции пробил важную отметку в 1000 подписчиков 🙂
Спасибо, что читаете!

Презентация, как всегда, во вложении 👇

🎤 В последнее время было много разных выступлений. Хочу поделиться с вами еще одним: недавно вышел подкаст со мной на Радио Сколтех. Я в роли выпускника сколтеха для абитуриентов, студентов и молодых специалистов. Рассказал о пути в сколтех, возможностях во время обучения, о выборах в учебе и карьере (индустрия vs наука, стартап vs корпорация, бауманка vs сколтех и тд), еще немного про себя сейчас и этот канал.

Кстати, в одном из первых постов на канале я уже рассказывал о том, как "попал в сколтех через хакатон". В подкасте дополнил свою историю деталями и свежей информацией.

🎧Слушайте подкаст, читайте статью и, при желании, задавайте вопросы — на все рано или поздно отвечу!