Дисклеймер: Под физическими моделями в посте буду понимать математические модели, описывающие физические процессы.
В проектировании (и иногда эксплуатации) технических систем в разных отраслях используются численные эксперименты и инженерная оптимизация (или инженерное моделирование) для подбора оптимальной конструкции или оптимальных параметров процесса или системы. Это вычислительно довольно сложный процесс, который может занимать непозволительно много времени. Тогда нам на помощь проходит аппроксимация физических моделей с помощью моделей машинного обучения. Мы можем как дополнять упрощенные физ модели, так и полностью заменять физ модели ML моделями. В зависимости от постановок задач это называется суррогатным или гибридным моделированием. При этом модели машинного обучения могут как строиться на данных экспериментов или реальной эксплуатации объекта, так и строиться на данных проведенных симуляций с помощью физ моделей. Такой подход способен давать погрешность по сравнению с очень точной физ моделью менее 1%, но выполнять расчет в сотни тысяч раз быстрее! Чтобы понять, насколько хорошо это работает, посмотрите это залипательное видео с примером того, как хорошо нейронные сети уже могут моделировать физ процессы.
Если интересно детально познакомиться с задачами, преимуществами, кейсами применения машинного обучения в инженерном моделировании, то в этой презентации лидера рынка Ansys все довольно подробно расписано. А еще в презентации есть слайд со стратегией развития ML компетенций в компании, интересно! Кроме того, для начального ознакомления подойдут эта статья с объяснением и это видео с теорией и реальными кейсами (формула 1, самолеты и много всего интересного).
Близкой темой является физически обоснованные модели машинного обучения, вот хороший обзорный доклад по теме. Здесь речь о том, что с помощью моделей мы стараемся восстановить исходные физические законы, часто в явном виде. Часто используются специально спроектированные (со специальными функциями потерь и постановкой задач) нейронные сети, но могут быть и линейные модели, и ансамбли, и многое другое.
• Отличный канал, где просто бесконечное количество полезного контента на обозначенные и многие другие близкие темы. Очень полезно для исследователей и практиков, изучающих и применяющих ML в промышленности
• Ознакомительное видео “Physics-Informed Neural Network”
• Видео с теорией и практикой на python “A Hands-on Introduction to Physics-informed Machine Learning”
• Обзор в nature на тему "Physics-informed machine learning"
• Научная статья Physics-informed Machine Learning в моделировании климата
• Цикл статей о суррогатном моделировании: часть 1, часть 2, часть 3, часть 4
• Доклады и лекции Е. Бурнаева о машинном обучении в инженерии: то, что было выше, еще одно, лекция
• Научные статьи Е. Бурнаева с соавторами на тему суррогатного моделирования: пример 1, пример 2, пример 3, пример 4
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
How Well Can DeepMind's AI Learn Physics? ⚛
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
📝 The paper "Learning to Simulate Complex Physics with Graph Networks" is available here:
https://arxiv.org/abs/2002.09405
https://sites.google.com/view/learning-to…
5🔥15👍8👏3
Оффтоп: никогда не считал себя научным специалистом, хотя закончил аспирантуру, в которую, кстати, шел далеко не с целью двигать вперед науку. Хоть и выбрал целенаправленно, на мой взгляд, лучшую аспирантуру в России (здесь писал о том, как попал в Сколтех). В другие бы просто не пошел. А свою первую статью вообще писал с целью получать повышенную стипендию в бауманке🫠 . Поэтому науку никогда не рассматривал для себя как профессию, занимался ей всегда факультативно, в дополнение к работе, хотя и тратил на научную деятельность немало времени. Но при этом интерес к науке был всегда, до сих пор читаю научные статьи и считаю полезным делать это специалистам в области data science.
Я к чему: недавно преодолел планку в💯 цитирований. Безусловно, немного, но для хобби, считаю, результат приятный. Захотелось поделиться!
Я к чему: недавно преодолел планку в
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥34👍12🎉5👏3❤🔥2❤1
Предиктивная аналитика эксгаустеров. Часть 2
Продолжение этого поста
В промышленных проектах часто есть соблазн взять большое число доступных данных и поробовать поприменять на них современные архитектуры нейронок, поимплементировать подходы из научных статей, пособирать необычные пайплайны и ансамбли алгоритмов. Когда я занимался ресерчем более активно — сам любил так делать🤤 . Но с опытом пришло осознание, что нужно стремиться к упрощению моделей и подходов, чтобы обеспечить прозрачность и простоту решения. Сложность и интерпретируемость решения сильно коррелирует с принятием и доверием к решению на производстве. Поэтому большая часть времени работы над решением приходится на обработку данных (помните: garbage in-garbage out), а не на разработку сложного алгоритма решения задачи.
Идеальный сценарий:
много времени потрачено на подготовку данных, генерацию физически обоснованных признаков и эвристик, используемых экспертами и технологическим персоналом на производстве, а в качестве модели выбрана линейная модель, на которой легко объяснить причину принятия того или иного решения.
💻 Так и в этом кейсе с эксгаустерами во время конкурса мы уделили довольно много времени следующим аспектам:
• Переразметка инцидентов (ручная проверка КАЖДОЙ аномалии и попытка определить реальный момент возникновения и устранения аномалий)
• Фильтрация инцидентов из журнала ТОиР (плановые работы, непрогнозируемые аномалии, неправильно размеченные кейсы)
• Подготовка к обучению модели (ресэмплирование, подбор оптимальной стратегии заполнения пропусков, очистка данных, выделение нормальных режимов по электрическим и вибрационным параметрам)
• Генерация дополнительных признаков (отклонение вибрация, температур от медианного значения, тренды и др.)
• Формирование правильных и честных обучающих и тестовых выборок, без пересечения, заглядывания в будущее и тд.
Также часто говорю, что возможностью обучения подходов и алгоритмов с учителем (supervised) стоит пользоваться, они часто бьют скор подходов без учителя/частичного обучения с учителем (unsupervised/semi-supervised), вот, кстати, самый популярный. Но не забывайте, что требования к количеству и качеству разметки возрастают!
Однако интересно познакомиться с противоположным подходом к решению задачи! Статья и репозиторий с непростым решением задачи с того же конкурса (ансамбль, нейронки, эвристики, все как мы любим) + описание данных и сами данные (надо только хорошо поискать ссылки в репозитории). Публично доступные данные с реальных производств мы не упускаем из виду, обязательно сохраняем, пригодятся🌍 . А теперь вы и сами можете попробовать решить задачу — все для этого есть!
Продолжение этого поста
В промышленных проектах часто есть соблазн взять большое число доступных данных и поробовать поприменять на них современные архитектуры нейронок, поимплементировать подходы из научных статей, пособирать необычные пайплайны и ансамбли алгоритмов. Когда я занимался ресерчем более активно — сам любил так делать
Идеальный сценарий:
много времени потрачено на подготовку данных, генерацию физически обоснованных признаков и эвристик, используемых экспертами и технологическим персоналом на производстве, а в качестве модели выбрана линейная модель, на которой легко объяснить причину принятия того или иного решения.
• Переразметка инцидентов (ручная проверка КАЖДОЙ аномалии и попытка определить реальный момент возникновения и устранения аномалий)
• Фильтрация инцидентов из журнала ТОиР (плановые работы, непрогнозируемые аномалии, неправильно размеченные кейсы)
• Подготовка к обучению модели (ресэмплирование, подбор оптимальной стратегии заполнения пропусков, очистка данных, выделение нормальных режимов по электрическим и вибрационным параметрам)
• Генерация дополнительных признаков (отклонение вибрация, температур от медианного значения, тренды и др.)
• Формирование правильных и честных обучающих и тестовых выборок, без пересечения, заглядывания в будущее и тд.
Также часто говорю, что возможностью обучения подходов и алгоритмов с учителем (supervised) стоит пользоваться, они часто бьют скор подходов без учителя/частичного обучения с учителем (unsupervised/semi-supervised), вот, кстати, самый популярный. Но не забывайте, что требования к количеству и качеству разметки возрастают!
Однако интересно познакомиться с противоположным подходом к решению задачи! Статья и репозиторий с непростым решением задачи с того же конкурса (ансамбль, нейронки, эвристики, все как мы любим) + описание данных и сами данные (надо только хорошо поискать ссылки в репозитории). Публично доступные данные с реальных производств мы не упускаем из виду, обязательно сохраняем, пригодятся
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Katser
👍17🔥4❤2❤🔥1👏1
Данные с дуговой сталеплавильной печи ❤️🔥
Продолжаю собирать и делиться интересными датасетами. На этот раз речь о данных с дуговой сталеплавильной печи (ДСП). Только недавно обновил датасет и описание к нему на каггле, теперь можно даже цитировать:
Данные реальные и довольно близки к сырым, поэтому, как обычно, есть сложность с трудоемкостью процесса агрегации данных и сборки датасета для обучения из нескольких файлов. Будет время — приведу в порядок свой блокнот с агрегацией и выложу, а пока можете сами попробовать!🧹 Вполне полезная практика и опыт работы с реальными данными.
Задачи можно решать три:
• Оценка/прогноз температуры металла в процессе плавки
• Оценка/прогноз окисленности металла в процессе плавки
• Оценка/прогноз химического состава металла после ДСП
Решение задач может позволить оптимизировать время плавки, затраты на электроэнергию, использованную для нагрева и в результате повысить производительность. Больше деталей по ссылке.🔥
Продолжаю собирать и делиться интересными датасетами. На этот раз речь о данных с дуговой сталеплавильной печи (ДСП). Только недавно обновил датасет и описание к нему на каггле, теперь можно даже цитировать:
Iurii Katser, Igor Mozolin, Maxim Mezhov, & Vladislav Travnikov. (2023). Industrial Data from the Electric Arc Furnace [Data set]. Kaggle. https://doi.org/10.34740/KAGGLE/DS/1671405
Данные реальные и довольно близки к сырым, поэтому, как обычно, есть сложность с трудоемкостью процесса агрегации данных и сборки датасета для обучения из нескольких файлов. Будет время — приведу в порядок свой блокнот с агрегацией и выложу, а пока можете сами попробовать!
Задачи можно решать три:
• Оценка/прогноз температуры металла в процессе плавки
• Оценка/прогноз окисленности металла в процессе плавки
• Оценка/прогноз химического состава металла после ДСП
Решение задач может позволить оптимизировать время плавки, затраты на электроэнергию, использованную для нагрева и в результате повысить производительность. Больше деталей по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
Kaggle
Industrial Data from the Electric Arc Furnace
Temperature, Oxidation forecasting for an electric arc furnace
👏14👍6❤🔥5🔥2
ИИ для диагностики АЭС: обзор мирового опыта 🌎
Опубликован доклад по итогам выступления на кроссконф. В этом посте дополню описание доклада и сам доклад некоторыми мыслями.
Дисклеймер: В данном докладе под термином ИИ мы понимаем скорее машинное обучение и используем эти термины взаимозаменяемо.
Раннее обнаружение отклонений в работе оборудования от нормального состояния непосредственно влияет на безопасность атомных электростанций. Улучшение качества работы систем онлайн-мониторинга технического состояния оборудования, помимо роста безопасности, приводит к следующим эффектам:
• Рост коэффициента использования установленной мощности (КИУМ) за счет снижения времени внеплановых простоев.
• Оптимизация загрузки и ремонтов оборудования за счет раннего обнаружения дефектов и понимания текущего технического состояния.
• Увеличение качества диагностики неисправностей за счет лучшего анализа и понимания данных, связанных с зарегистрированными неисправностями.
• Возможность продления срока службы элементов АЭС за счет оценки текущего технического состояния и оставшегося ресурса.
В настоящее время развитие алгоритмов и методов машинного обучения переживает стадию активного развития, вследствие роста доступности и эффективности инструментов анализа, в том числе для работы с промышленными приложениями. Использование современных средств и методов анализа данных позволяет развивать и улучшать существующие системы мониторинга АЭС. Важной особенностью является возможность повышать качество анализа информации, собираемой сегодня, без оснащения АЭС дополнительными измерительными каналами🧐
Внедрение методов и алгоритмов ИИ на промышленных предприятиях сталкивается с барьерами, которые замедляют интеграцию решений. К ним можно отнести:
• высокая зарегулированность (критерии безопасности);
• высокие риски окупаемости решения;
• внутреннее сопротивление кадров;
• отсутствие подготовленных кадров (персонал разрабатывающий, эксплуатирующий и поддерживающий решения);
• отсутствие инфраструктуры.
Несмотря на указанные барьеры, в настоящее время публикуется большое количество исследований, посвященных темам применения методов и алгоритмов ИИ для оценки и прогнозирования технического состояния оборудования АЭС в России и мире.
Большинство исследователей выделяют три подхода к обнаружению неисправностей: на базе физической̆ модели оборудования, без использования физической модели и гибридный̆ подход.
• Под физической моделью понимается математическое моделирование объекта диагностирования с помощью уравнений, описывающих физику происходящих в системе процессов. Физическое моделирование безусловно является предпочтительным для любой задачи диагностирования благодаря точности и интерпретируемости результата. Основным недостатком является сложность создания качественной модели оборудования.
• Методы и алгоритмы ИИ относятся ко второму подходу — без использования физической модели.
• Гибридные модели создаются для использования сильных сторон разных подходов. Построение таких моделей может происходить следующим образом: моделируются основные компоненты системы, а дальше модель уточняется с помощью методов ИИ.
Презентация в комментариях👇
Опубликован доклад по итогам выступления на кроссконф. В этом посте дополню описание доклада и сам доклад некоторыми мыслями.
Дисклеймер: В данном докладе под термином ИИ мы понимаем скорее машинное обучение и используем эти термины взаимозаменяемо.
Раннее обнаружение отклонений в работе оборудования от нормального состояния непосредственно влияет на безопасность атомных электростанций. Улучшение качества работы систем онлайн-мониторинга технического состояния оборудования, помимо роста безопасности, приводит к следующим эффектам:
• Рост коэффициента использования установленной мощности (КИУМ) за счет снижения времени внеплановых простоев.
• Оптимизация загрузки и ремонтов оборудования за счет раннего обнаружения дефектов и понимания текущего технического состояния.
• Увеличение качества диагностики неисправностей за счет лучшего анализа и понимания данных, связанных с зарегистрированными неисправностями.
• Возможность продления срока службы элементов АЭС за счет оценки текущего технического состояния и оставшегося ресурса.
В настоящее время развитие алгоритмов и методов машинного обучения переживает стадию активного развития, вследствие роста доступности и эффективности инструментов анализа, в том числе для работы с промышленными приложениями. Использование современных средств и методов анализа данных позволяет развивать и улучшать существующие системы мониторинга АЭС. Важной особенностью является возможность повышать качество анализа информации, собираемой сегодня, без оснащения АЭС дополнительными измерительными каналами
Внедрение методов и алгоритмов ИИ на промышленных предприятиях сталкивается с барьерами, которые замедляют интеграцию решений. К ним можно отнести:
• высокая зарегулированность (критерии безопасности);
• высокие риски окупаемости решения;
• внутреннее сопротивление кадров;
• отсутствие подготовленных кадров (персонал разрабатывающий, эксплуатирующий и поддерживающий решения);
• отсутствие инфраструктуры.
Несмотря на указанные барьеры, в настоящее время публикуется большое количество исследований, посвященных темам применения методов и алгоритмов ИИ для оценки и прогнозирования технического состояния оборудования АЭС в России и мире.
Большинство исследователей выделяют три подхода к обнаружению неисправностей: на базе физической̆ модели оборудования, без использования физической модели и гибридный̆ подход.
• Под физической моделью понимается математическое моделирование объекта диагностирования с помощью уравнений, описывающих физику происходящих в системе процессов. Физическое моделирование безусловно является предпочтительным для любой задачи диагностирования благодаря точности и интерпретируемости результата. Основным недостатком является сложность создания качественной модели оборудования.
• Методы и алгоритмы ИИ относятся ко второму подходу — без использования физической модели.
• Гибридные модели создаются для использования сильных сторон разных подходов. Построение таких моделей может происходить следующим образом: моделируются основные компоненты системы, а дальше модель уточняется с помощью методов ИИ.
Презентация в комментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
ИИ для диагностики АЭС: обзор мирового опыта // Вячеслав Козицин, Юрий Кацер
О докладе:
В настоящее время развитие алгоритмов и методов машинного обучения переживает стадию активного развития, вследствие роста доступности и эффективности инструментов анализа, в том числе для работы с промышленными приложениями. Использование современных…
В настоящее время развитие алгоритмов и методов машинного обучения переживает стадию активного развития, вследствие роста доступности и эффективности инструментов анализа, в том числе для работы с промышленными приложениями. Использование современных…
👍15🔥6❤🔥3
Данные с машины непрерывного литья заготовки (МНЛЗ) 🔥 🔥 🔥
Опять реальные данные! В этот раз датасет уже собран в один файл и сформирован таргет для решения задачи регрессии с целью определения остаточного ресурса (RUL). Сам датасет и описание выложены на каггле, а в посте дам коротко описание проблематики. Кстати, опять можно цитировать:
Термины
• Машина непрерывного литья заготовки (МНЛЗ) — это агрегат, который позволяет преобразовать жидкую сталь в твердую заготовку заданного сечения, из которой в дальнейшем производится прокат, например, арматура
• Гильза кристаллизатора — наиболее ответственная и быстроизнашиваемая часть кристаллизатора МНЛЗ. Гильза представляет собой водоохлаждаемую медную трубу круглого или профильного сечения. Расплавленный металл, контактируя со стенками гильзы, кристаллизуется и, тем самым, формируется первичная твердая оболочка слитка
Проблематика
Основная проблема, с которой сталкивается производство при эксплуатации гильз, это образование дефектов поверхности медной трубы гильзы, искажение профиля её внутренней полости. При этом нарушается тепловой режим работы, что, в свою очередь, отражается на качестве получаемых слитков: появляются дефекты формы (например, диагонали квадратного слитка оказываются неравны, возникает так называемый дефект “ромбичность”), изменяются размеры сторон, могут появиться трещины в углах. Указанные дефекты приводят к проблемам в следующем переделе (в прокатке): снижается качество продукции, растет количество брака, что неблагоприятно влияет на экономику производства. Размеры гильзы с определенной периодичностью измеряются по всей длине, при отклонении этих размеров от основных параметров происходит их отбраковка.
Может наблюдаться уменьшение срока службы медных гильз кристаллизатора на производстве, что может быть связано с изменением параметров работы самой МНЛЗ (температура входящей стали, температура охлаждающей воды и пр.)
Итого выделяются 3 основные проблемы
• Преждевременные остановки машин непрерывного литья заготовки (МНЛЗ)
• Брак заготовок
• Повреждения и простои оборудования
Опять реальные данные! В этот раз датасет уже собран в один файл и сформирован таргет для решения задачи регрессии с целью определения остаточного ресурса (RUL). Сам датасет и описание выложены на каггле, а в посте дам коротко описание проблематики. Кстати, опять можно цитировать:
Iurii Katser, Maxim Mezhov, Igor Mozolin, Vladislav Travnikov, Viacheslav Kozitsin. (2023). RUL Dataset from Continuous Casting Machine [Data set]. Kaggle.
https://doi.org/10.34740/KAGGLE/DS/4014009
Термины
• Машина непрерывного литья заготовки (МНЛЗ) — это агрегат, который позволяет преобразовать жидкую сталь в твердую заготовку заданного сечения, из которой в дальнейшем производится прокат, например, арматура
• Гильза кристаллизатора — наиболее ответственная и быстроизнашиваемая часть кристаллизатора МНЛЗ. Гильза представляет собой водоохлаждаемую медную трубу круглого или профильного сечения. Расплавленный металл, контактируя со стенками гильзы, кристаллизуется и, тем самым, формируется первичная твердая оболочка слитка
Проблематика
Основная проблема, с которой сталкивается производство при эксплуатации гильз, это образование дефектов поверхности медной трубы гильзы, искажение профиля её внутренней полости. При этом нарушается тепловой режим работы, что, в свою очередь, отражается на качестве получаемых слитков: появляются дефекты формы (например, диагонали квадратного слитка оказываются неравны, возникает так называемый дефект “ромбичность”), изменяются размеры сторон, могут появиться трещины в углах. Указанные дефекты приводят к проблемам в следующем переделе (в прокатке): снижается качество продукции, растет количество брака, что неблагоприятно влияет на экономику производства. Размеры гильзы с определенной периодичностью измеряются по всей длине, при отклонении этих размеров от основных параметров происходит их отбраковка.
Может наблюдаться уменьшение срока службы медных гильз кристаллизатора на производстве, что может быть связано с изменением параметров работы самой МНЛЗ (температура входящей стали, температура охлаждающей воды и пр.)
Итого выделяются 3 основные проблемы
• Преждевременные остановки машин непрерывного литья заготовки (МНЛЗ)
• Брак заготовок
• Повреждения и простои оборудования
Please open Telegram to view this post
VIEW IN TELEGRAM
Kaggle
RUL Dataset from Continuous Casting Machine
Industrial Dataset from Continuous Casting Machine for RUL Determining
👍12🔥4❤🔥3👏1
Я часто говорю и пишу про простоту и интерпретируемость решений, потому что для приживаемости решений в промышленности без этого ну очень сложно. Даже утверждаю, что удовлетворяющее пользователя решение без ML лучше решения с ML (почти всегда), но об этом еще поговорим в будущем. В этом посте хотелось бы затронуть тему интерпретируемости в целом и поделиться докладом и блокнотом к нему. На мой взгляд, один из лучших докладов про интерпретируемость ML моделей, позволяющий “открыть глаза” и прояснить некоторые искажения. Рекомендую смотреть дата сайентистам разного уровня.
Немного тезисов доклада:
• Важно не путать, говоря об интерпретации, о модели или о процессе идет речь. Почти всегда мы интерпретируем модель, то есть говорим, как себя ведет модель и почему
• Нужно аккуратно использовать веса линейных моделей при интерпретации процесса. И еще простая истина - влияние признаков является значимым только при условии, что взаимосвязь линейна.
• Предикт модели действительно может не зависить от признаков, получивших нулевые веса при L1 регуляризации, но это не значит, что моделируемая величина (таргет) от этих признаков не зависит
• В качестве метода довольно честной оценки влияния или предсказательной способности признака на таргет можно использовать качество предсказаний модели, построенной на каждом отдельном признаке (кол-во моделей = кол-ву признаков)
• Процесс максимально честной интерпретации процесса может быть довольно сложным и трудозатратным (да-да, SHAP values тоже не являются спасением, в докладе и про это есть)
• И еще много всего интересного в докладе
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Интерпретация модели vs интерпретация моделируемого явления – Данила Савенков
Секция Interpretable ML – Black stage, 11 мая 2019
Презентации с Data Fest 6 – https://drive.google.com/open?id=1LOmOoh1WLqmhSqTKjvdOQx-YOTyBgG-i
Код – https://www.kaggle.com/daniel89/interpretable-ml-and-analytics
Презентации с Data Fest 6 – https://drive.google.com/open?id=1LOmOoh1WLqmhSqTKjvdOQx-YOTyBgG-i
Код – https://www.kaggle.com/daniel89/interpretable-ml-and-analytics
👍10🔥7❤🔥2🤔1
Стоило мне совсем недавно написать, что секции "ИИ в промышленности" давно нет на AIJourney, как меня пригласили выступить на этой секции на AIJ'23. Иронично 🌈
В выходной день (больше ведь нечем заняться?!) спешу поделиться публично доступными видео с докладами!📱 Спикеры из Conundrum, Норникель, Росатом, Сибур и других компаний, непосредственно связанных с применением ML, AI и анализа данных в промышленности.
Немного о моем докладе: в докладе рассказано о задачах машинного обучения в промышленности, а также затронуты вопросы особенностей и проблем в промышленных данных, оценки потенциальных эффектов, проведения тестирования решения. Также представлены особенности внедрения и, что важнее, рекомендации для успешного внедрения машинного обучения в промышленности, которые я собрал из своего опыта и опыта многих коллег. Наконец, немного затронул вопросы трендов в машинном обучении в промышленности.
Кстати, интересно ваше мнение по поводу затронутых в докладе вопросов! Презентация уже традиционно ждет в комментариях👇
В выходной день (больше ведь нечем заняться?!) спешу поделиться публично доступными видео с докладами!
Немного о моем докладе: в докладе рассказано о задачах машинного обучения в промышленности, а также затронуты вопросы особенностей и проблем в промышленных данных, оценки потенциальных эффектов, проведения тестирования решения. Также представлены особенности внедрения и, что важнее, рекомендации для успешного внедрения машинного обучения в промышленности, которые я собрал из своего опыта и опыта многих коллег. Наконец, немного затронул вопросы трендов в машинном обучении в промышленности.
Кстати, интересно ваше мнение по поводу затронутых в докладе вопросов! Презентация уже традиционно ждет в комментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥8👏4❤🔥1🤩1
Проходит в Барселоне до 17 марта 2024 года. Популяризации темы рад, но, в целом, ничего невероятного, скорее научно-популярная выставка с большим числом общих слов и маркетинговых материалов. Из интересного: довольно подробно можно познакомиться с историей развития ИИ и машинного обучения, пообщаться с Элизой (ну и чатгпт тоже, хотя этим никого не удивишь), поиграть с альфаго, посмотреть и почитать о разных аспектах (железо, алгоритмы, этика, прикладные и развлекательные кейсы с ИИ в разных областях знаний и многое другое).
• фото 2: информация о выставке
• фото 3: The Analytical Engine by Charles Babbage
• фото 4: The Bombe device
• фото 5: Deep Blue by IBM
• видео: популярный кейс распознавание языка жестов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9👏5🔥4
На сегодняшний день уже было продемонстрировано, что машинное обучение может решить множество задач на производстве, в энергетике, добыче и других отраслях промышленности. Конечно, специфичных постановок задач в разных отраслях и разных технологических процессах можно найти огромное количество, но так или иначе мы всегда сводим их к понятным типовым формулировкам. Картинка (на самом деле слайд из моей недавной презентации) систематизирует довольно большое число типовых задач, причем верхняя часть собрана из моего практического опыта, а нижняя взята из довольно интересной обзорной статьи (как скачивать тексты статей с помощью scihub учил в этом посте).
Большой пост с подробным разбором всех задач в разработке, а пока выделю наиболее популярные:
• Оптимизация процесса и входных условий/материалов. Причем задача может решаться как в виде рекомендаций, так и в виде автоматического управления процессом (apc). Решение именно этих задач чаще всего самое экономически выгодное.
• Список задач ТОиР (мониторинг, поиск и локализация аномалий, прогноз RUL). Об этом много пишу, материалы в оглавлении. Задачи лежат на поверхности, ML действительно хорошо дополняет методы неразрушающего контроля. Но есть проблемы с экономическим эффектом и успешностью проектов, так как данных о поломках бывает слишком мало.
• Прогноз и контроль качества продукции. Пересекается с первым пунктом, но здесь также речь об автоматизации и улучшении процессов диагностики продукции. Часто применимо CV и классический ML.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16❤5🔥2❤🔥1
Анализ и прогнозирование временных рядов и можно ли зарабатывать с их помощью 🪙
Недавно стал гостем в Machine Learning podcast (можно слушать на разных площадках).
Канал горячо рекомендую, там помимо подкастов с кучей интересных гостей (сам люблю послушать) еще много полезных активностей.🧘♀️
О выпуске
• Поговорили про временные ряды и самую любимую задачу — прогнозирование. Конечно, не забыли и про промышленность.
• Много теории, поэтому практику охватить не успели, надеюсь, получится о практических кейсах рассказать отдельно.
• Ценным может быть список материалов, которые упоминал в выпуске.
Не первый раз участвую в подкастах и признаюсь, что такой формат мне нравится чуть больше, чем лекции и доклады из-за возможности вести диалог, даже в докладах стараюсь больше общаться с аудиторией, когда это уместно🤓
Недавно стал гостем в Machine Learning podcast (можно слушать на разных площадках).
Канал горячо рекомендую, там помимо подкастов с кучей интересных гостей (сам люблю послушать) еще много полезных активностей.
О выпуске
• Поговорили про временные ряды и самую любимую задачу — прогнозирование. Конечно, не забыли и про промышленность.
• Много теории, поэтому практику охватить не успели, надеюсь, получится о практических кейсах рассказать отдельно.
• Ценным может быть список материалов, которые упоминал в выпуске.
Не первый раз участвую в подкастах и признаюсь, что такой формат мне нравится чуть больше, чем лекции и доклады из-за возможности вести диалог, даже в докладах стараюсь больше общаться с аудиторией, когда это уместно
Please open Telegram to view this post
VIEW IN TELEGRAM
9 выпуск 4 сезона
#052 ML Юрий Кацер. Анализ и прогнозирование временных рядов и можно ли зарабатывать с их помощью — Подкаст «Machine Learning Podcast»
В гостях Юрий Кацер - эксперт по анализу данных и машинному обучению в промышленности, DS team lead Conundrum.ai. В выпуске говорим о том, что такое временные ряды и как их можно анализировать и прогнозировать с помощью машинного обучения. Какие зада
👍16🔥9💯2❤1👎1
Так как я публикую материалы сразу на нескольких площадках (и люблю все систематизировать
• GitHub — мои опенсорс проекты и списки интересных мне ссылок/проектов/репозиториев по самым разным темам
• scholar.google и researchgate —информация о моих научных работах
• habr — большие статьи на околотехнические темы
• medium — в основном скорректированные и адаптированные переводы статей с хабра
• vc — статьи на более общие темы (хакатоны, развитие в DS) или более короткие заметки, не доросшие до полноценной статьи
• kaggle — для публикации датасетов (сам тоже там люблю поискать датасеты для каких-нибудь r&d проектов, а вот на соревнования времени совсем не хватает)
Зачем мне эти площадки?
Я использую эти площадки, а также публикую там материалы для той же систематизации своих знаний или бесконечных списков из ссылок на интересные материалы.
Помогают ли профили в карьере?
Я всегда рекомендую студентам или слушателям моих докладов участвовать в опенсорсе (GitHub/kaggle), так как наличие опыта соревнований, пет проектов, контрибьютинга выгодно отличает таких кандидатов на ранних этапах карьеры, не считая пользы для развития навыков и приобретения новых знаний. Хотя я не уверен, что сейчас мои профили имеют какое-то большое значение для заказчиков/работодателей. Не обязательно заводить много профилей, можно сконцентрироваться на чем-то одном и понемного развивать. Кстати, указывать в резюме пустые профили на кэгл или гитхаб — это моветон (на мой взгляд), поучаствуйте хоть в чем-то или запилите классификацию кошечек и собачек, отличный пет-проект!
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
YKatser - Overview
Head of DS | Ph.D. alumnus | RnD team lead. YKatser has 13 repositories available. Follow their code on GitHub.
👍17👏3🤝3❤🔥1
В начале своих обзорных докладов и лекций стараюсь дать оценку места Промышленности среди остальных отраслей экономики.
tl;dr: популярность ИИ и ML в промышленности далека от ритейла, маркетинга и др.
Довольно показательна актуальная на 2021 год карта компаний, занимающихся ИИ в России. Немного моих мыслей:
• Digital Petroleum учтена 3 раза, Mechanica AI уже закрылась, есть неучтенные компании, например, Conundrum, но порядок цифр, кажется, что верный
• Большую роль играют "дочки" крупных холдингов: Северсталь диджитал, Цифровые технологии и платформы (еврохим), Цифрум (росатом), Сибур диджитал и др, которые не попали в список из-за методологии
• Более интересным мне показалась другое число: 0.2% (
• Есть вопросы к методологии и к глубине анализа авторами именно сегмента "Промышленность"
Распределение по классам задач
"IoT analytics research 2019 — Industrial AI market report 2019-2025" дает такое распределение кол-ва кейсов ИИ по направлениям:
• ТОиР — 24.3%
• Контроль и управление качеством — 20.5%
• Оптимизация процессов, включая советчики и управление процессом (apc) — 16.3%
• Остальные задачи (оптимизация цепочек поставок, кибербезопасность и тд) — значительно меньше
С топ-3 и их значительным отрывом склонен согласиться, но думаю, что "Оптимизация процессов" набирает популярность, а "ТОиР" немного теряет.
Распределение по отраслям промышленности
Согласно отчету “Технологии искусственного интеллекта. АПР Москвы, 2019" распределение следующее:
• 44 % — в дискретном производстве (машиностроение, авиастроение и тд)
• 22 % — в процессном производстве (металлургия, химия, добыча и тд)
• 11 % — в электроэнергетике
• 23 % — научные работы университетов (
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥4👏3
Наткнулся на такое соревнование, правда уже после его окончания. Интересен пост в обсуждениях к страничке соревнования на кэггле под названием "Что это за ужас?". Пересказывать не буду — стоит перейти и почитать (лишь добавлю, что проблемы на хакатонах — не редкость, писал о
Ну а нам интересно другое: еще одна задача, решающаяся с помощью ML в энергетике, данные и код. Так как с задачей уже сталкивался, поделюсь наработками из прошлого в дополнение к соревнованию.
Задача
Необходимо обнаруживать дефекты изоляторов (пример на картинке) линий электропередач (оплавления, сколы, трещины и др). Несмотря на наличие различных методов контроля и диагностики повреждений, популярным остается метод визуального контроля. Чтобы сделать его более эффективным можно использовать сетап дрон+CV.
Подход к решению
Чтобы автоматизировать обработку данных с дрона, можно применять CV, в частности, сначала можно решать задачу сегментации (выделять изоляторы, пример на картинке к посту), а после (или вместо) решать задачу классификации (без повреждений/с повреждениями + тип повреждений).
Детально про задачу и подходы к решению с результатами можно почитать моих коллег из сколтеха по проекту здесь.
Данные
Данные с соревнования из начала поста доступны на кэггле и по ссылкам в описании, но здесь доступен еще один архив данных с разметкой для задач сегментации изоляторов и классификации дефектов.
Код
Пара блокнотов доступна на кэггле, более представительный блокнот с решением задач сегментации (Unet) и классификации (VGG) здесь.
Отличный потенциальный пет-проект или пример прикладного ресерча без научных открытий.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥7⚡3
Поздравляю всех с Новым годом!✨ ✨ ✨
Пост с подведением итогов года будет позже, а пока подобьем важные статистические показатели для канала:
🥚 В 2023 году канал появился (8 месяцев и 12 дней назад)
💪 За 8 месяцев канал вырос до 850+ подписчиков
😋 Написано 90+ содержательных постов
Благодарен каждому из вас за доверие и участие! Stay tuned
Пост с подведением итогов года будет позже, а пока подобьем важные статистические показатели для канала:
Благодарен каждому из вас за доверие и участие! Stay tuned
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33☃5🥰5🏆3❤1🔥1🍾1
Не будем задаваться вопросами, необходимо ли ставить цели, не переоценен ли эффект от этого, зачем структурировать и делать этот процесс регулярным, просто скажу, что для меня это работает. Поэтому перейду сразу к своим правилам подведения итогов и постановки целей на год.
Про мои принципы формирования краткосрочных планов на неделю/день, составление расписание и как в течение года я формирую дела, чтобы достигать больших целей напишу отдельно.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥6❤🔥3👏1