Мне было интересно послушать об итогах года в ML in Manufacturing от Димы Подвязникова. 2 года выступаю у Димы в секции на Datafest'е и даже немного помогаю собирать доклады.
Я бы дополнил выступление (далее с ссылками на материалы в канале):
За упоминание RUL в ключевых докладах отдельное спасибо
Наверно, и я много всего забыл — делитесь в комментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Дмитрий Подвязников | Итоги года в ML in Manufacturing
Спикер: Дмитрий Подвязников
Data Ёлка 2024 в гостях у Ecom.tech: https://ods.ai/events/data-elka-24-ecomtech-offline
Data Ёлка 2024: https://ods.ai/events/data-elka-2024
_____
Наши соц.сети:
Telegram: https://t.iss.one/datafest
Вконтакте: https://vk.com/datafest…
Data Ёлка 2024 в гостях у Ecom.tech: https://ods.ai/events/data-elka-24-ecomtech-offline
Data Ёлка 2024: https://ods.ai/events/data-elka-2024
_____
Наши соц.сети:
Telegram: https://t.iss.one/datafest
Вконтакте: https://vk.com/datafest…
🔥6👍3❤1👏1
cnpostercorpsoft2025.pdf
14.4 MB
Программные разработки российских корпораций, 2025
На карте длясебя вас выделил зеленым те разработки, которые относятся к ML прямо или хотя бы имеют часть функционала на основе ML. Прокомментирую материал в контексте ML.
Пишут:
Со второй частью тезиса сложно не согласиться, да и наблюдаю попытки продажи разработок (остающим) конкурентам по отрасли. Но вот недостатков у внутренних разработок полно. Несколько моих комментариев:
🟡 Продуктивизация: если делают проект, то часто не думают, чтобы сделать из этого продукт.
🟡 Поддержка: не умеют DS/ML дочки/команды в поддержку своих продуктов. Да и с доработкой под нового заказчика предполагаю, что может быть сложно.
🟡 Цена провала: если ты вендор/подрядчик, то не внедрение и плохой продукт — конец бизнеса (все сверху до лидов это точно понимают), а для внутренней команды это еще одна невыстрелившая гипотеза. Слегка обострил, но суть, надеюсь, поняли. Это влияет на конечный продукт.
🟡 Оверфиттинг под предприятие/холдинг: разрабатывая продукт, цифровые дочки ориентируются на специфику холдинга, которая может сильно отличаться у конкурентов/партнеров.
🟡 Кастомность разработки: некоторые разработки просто кастомные и максимум, что можно продавать — экспертизу, подходы к решению задачи.
🟡 Немного поворчу, что опять не всех пересчитали, например, на том же comnews писали про продукт цифрума и РАСУ (мб уже нет продукта?).
Ну и последний комментарий:никто ничего мне не занес, а могли бы 🤦♂️
Про причины недостатков такого ПО можно рассуждать и спорить долго, среди важных: отсутствие открытой конкуренции (преференции внутренним командам), проблемы корпоративных процессов (проще и быстрее закупить железо и софт подрядчику, чем встроиться в цикл закупки предприятия). Есть и многие другие.
Ссылка на исходный материал.
На карте для
Пишут:
Коммерциализация такого ПО имеет высокий шанс на успех, поскольку оно лучше учитывает специфику бизнес-процессов и производства компаний отрасли.
Со второй частью тезиса сложно не согласиться, да и наблюдаю попытки продажи разработок (остающим) конкурентам по отрасли. Но вот недостатков у внутренних разработок полно. Несколько моих комментариев:
Ну и последний комментарий:
Про причины недостатков такого ПО можно рассуждать и спорить долго, среди важных: отсутствие открытой конкуренции (преференции внутренним командам), проблемы корпоративных процессов (проще и быстрее закупить железо и софт подрядчику, чем встроиться в цикл закупки предприятия). Есть и многие другие.
Ссылка на исходный материал.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8👏3❤1🔥1🗿1
Гибридное моделирование. Часть 2 — кейсы
В первой части погрузились в подходы, пора закрепить опытом коллег и прокачать насмотренность. К тому же встречаю много скепсиса, иногда оправданного. Поэтому привожу реальные кейсы из своего репозитория. А вы можете как контрибьютить в репозиторий (хотя и просто за🌟 спасибо), так и поделиться другими кейсами к комментариях👇 .
🔵 ГПН (НГУ). Гибридное моделирование глушения скважин в условиях АНПД. Степан Кармушин и Антон Кожухов [tg]
🔵 Еврохим (ЦТиП). Разработка рекомендательной системы для производства аммиака. Александр Верхоломов [youtube]
🔵 Инфосистемы Джет. Помощник сталевара: для чего металлургам нужно машинное обучение? Антон Головко [habr]
🔵 Северсталь. Система управления процессом окомкования железорудных окатышей. Андрей Голов [youtube], [habr]
🔵 ИТМО. Гибридное моделирование океана: совмещаем гидродинамику и машинное обучение. Юлия Борисова [youtube]
ПС Репозиторий, кстати, регулярно обновляю и дополняю, чтобы было удобно пользоваться, но открыт к предложениям по улучшению.
В первой части погрузились в подходы, пора закрепить опытом коллег и прокачать насмотренность. К тому же встречаю много скепсиса, иногда оправданного. Поэтому привожу реальные кейсы из своего репозитория. А вы можете как контрибьютить в репозиторий (хотя и просто за
ПС Репозиторий, кстати, регулярно обновляю и дополняю, чтобы было удобно пользоваться, но открыт к предложениям по улучшению.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Katser
Гибридное моделирование
Как правило, гибридным моделированием называют объединение или ансамблирование подходов физико-математического моделирования (первых принципов) и статистического моделирования/моделирования на данных/машинного обучения. Топ-3 популярных…
Как правило, гибридным моделированием называют объединение или ансамблирование подходов физико-математического моделирования (первых принципов) и статистического моделирования/моделирования на данных/машинного обучения. Топ-3 популярных…
3🔥10👍2
Следим и слушаем "топов": Head of DS'ов, CDS'ов, CDO, директоров инноваций, директоров цифровых дочек холдингов и вендоров решений в промышленности.
Что мне интересно в таких материалах:
Примеры полезных выступлений/презентаций/интервью/подкастов:
Стоит обращать внимание на дату материалов, потому что хоть и медленное, но развитие есть.
Еще мои мысли:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍13❤3💯3👏1👀1
Выступил не так давно на стратегической сессии крупной машиностроительной компании. Ну и как не поделиться с вами материалами с лекционной части (слайды в комментариях
Расскажу более детально о своем докладе:
ПС Если кто-то из спикеров подписан на канал и против публикации материалов — напишите в лс.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍8
Пост с представлением датасета, постановками задач и материалами с кодом здесь. А сегодня поделюсь работой Дмитрия Меняйлова, Junior ML инженера в промышленности, моего студента: Дима подготовил EDA и собственное решение задачи определения RUL. Будет рад конструктивной критике и обратной связи.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤8🔥4👏1
Отзыв на книгу Elon Musk by Ashlee Vance
Уже традиционная рубрика о книгах, которые я читаю
Прочитал, как и обещал, первую биографию Илона Маска. Мое мнение: книга однозначно лучше ревью-статьи, обязательна к прочтению техноэнтузиастам (да и всем), много внутренней кухни SpaceX, Tesla и личной жизни Маска, и просто очень мотивирующая книга. Рекомендую❗️
Выделил для себя по 1-2 топ-цитат из каждой главы, делюсь:
🔘 (глава 1) We wanted flying cars, instead we got 140 characters — слоган инвестиционной компании Питера Тиля. Речь о том, что в нулевые люди как будто перестали хотеть изобретать меняющие жизнь вещи, а инновации и инноваторы/предприниматели обмельчали, создавая твиттеры, вместо ракет и электромобилей. Забавно, что Маск в итоге выкупил твиттер
🔘 (глава 1) It's Elon's world, and the rest of us live in it — слова бывшей жены о всех нас
🔘 (глава 2) "At one point, I ran out of books to read at the school library and the neighborhood library," Musk said. "This is maybe the third or fourth grade. I tried to convince the librarian to order books for me. So then, I started to read the Encyclopaedia Britannica. That was so helpful. You don't know what you don't know…” — о жажде знаний (потом Илон будет читать советские учебники по ракетостроению, потому что почему бы и нет)
🔘 (глава 4) That's Elon. Do or die but don't give up — о том, как неспортивный и растренированный Маск вместе с коллегами поехал в горы на велосипеде, приехал последним, но не сдался
🔘 (глава 5) That's my lesson for taking a vacation: vacations will kill you — цитата Маска после того, как он заболел самой смертоносной версией малярии в редком отпуске на родине в ЮАР и несколько дней пролежал в интенсивной терапии, после чего еще 6 месяцев восстанавливался
🔘 (глава 6) The kiss of death was proving Elon wrong about something — об ужасном отношении Илона к сотрудникам SpaceX и увольнении лучших инженеров
🔘 (глава 7) Don't worry about the methods or if they're unsound. Just get the job done — о методах управления в Тесле, транслируемых Маском всем сотрудникам
🔘 (глава 😍 "Most people who are under that sort of pressure fray," Gracias said. "Their decisions go bad. Elon gets hyperrational. He's still able to make very clear, long-term decisions. The harder it gets, the better he gets…" — друг и инвестор SpaceX и Tesla о том, что пережил Илон в 2008 года (проблемы в личной жизни, недостаток финансирования, плохая пресса, неудачные запуски и почти банкротство обеих компаний + личное банкротство)
🔘 (глава 10) The mantra was that one great engineer will replace three medium ones — такой подход используется с целью делать больше вещей внутри компаний, а не обращаться к подрядчикам, что позволило сэкономить и ускорить разработку продуктов внутри всех компаний Маска
🔘 (глава 11) "... The point is to maximize the probable life span of humanity" — цитата Маска в процессе рассуждений о том, полетит ли он сам на Марс (хочет быть одним из первых, чтобы вдохновить людей, хоть и понимает, что это не самый умный поступок)
🔮 В эпилоге есть интересные прогнозы (книга от 2017 г) на дальнейшие успехи Илона, теслы и SpaceX. Например, о том, когда Илон станет богатейшим человеком, о конкуренции SpaceX с Китаем, о продажах теслы. Думаете сбылись?
Уже традиционная рубрика о книгах, которые я читаю
В комментариях говорят, что даже лучше самой книги (но это я проверю за вас — книга ждёт своего часа на полочке).
Прочитал, как и обещал, первую биографию Илона Маска. Мое мнение: книга однозначно лучше ревью-статьи, обязательна к прочтению техноэнтузиастам (да и всем), много внутренней кухни SpaceX, Tesla и личной жизни Маска, и просто очень мотивирующая книга. Рекомендую
Выделил для себя по 1-2 топ-цитат из каждой главы, делюсь:
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍13⚡3🔥3🌚3🗿3❤1
AI/ML/DS в вибродиагностике. Часть 1 — введение про ящики
🆕 Приветствуем серию постов или временную рубрику про машинное обучение в вибродиагностике. Основным автором рубрики будет Даниил Кечик, ну и я немного буду помогать.
🌀 Лирическое авторское вступление
Подчас кажется, что существуют две практически непересекающиеся вселенные. В первой, как говорили классики, "истина всегда конкретна". Если речь идёт о моделировании механических систем, то речь идет про их точное воссоздание методом конечных элементов. Хочешь перенести свои наработки на новое устройство? Тогда тебе не составит труда собрать новую такую же модель!
Во второй — истина максимально туманна. Она растворена в озёрах данных, и единственный способ хоть как-то к ней приблизиться — сконцентрировать в чёрный ящик (речь о большинстве ML моделей), в который нет никакого способа заглянуть! Вернее, посмотреть-то можно, но понять увиденное...
Попытки пообщаться эти вселенные всё же совершают.
◾️Примеры ML в вибродиагностике и "черные ящики"
Возьмём недавнюю статью, где авторы использовали свёрточную нейросеть для различения дефектов подшипников качения. На вход нейросети подаются коэффициенты вейвлет-преобразования. Они далеко не первые, кто так делают. В работе приведены формулы расчёта "подшипниковых частот", т.е. частот взаимодействия его элементов между собой. Как эти частоты помогут в дальнейшем — не раскрыто. На приведённой скалограмме кратко поясняется, почему вейвлет-преобразование подходит для анализа вибрации подшипников.
Получить достаточно полное представление о состоянии области на сегодняшний день может помочь недавний обзор применяемых подходов к диагностированию по сигналам вибрации. Здесь тоже не предполагается само моделирование физической системы. Связь получаемых после обработки коэффициентов с результатами диагностирования полностью доверяется "чёрному ящику".
◽️"Серые ящики"
Наличие "подшипниковых частот" и пригодных для обработки методов подсказывает, что есть ещё целая область знаний, находящаяся между "чёрными ящиками" и "белыми ящиками" максимально конкретных моделей. И действительно, в деле вибрационной диагностики немало таких наработок, которые конвертируются в диагностические (экспертные) правила. Эти правила работают для разнообразного оборудования, конструкция которого нам известна. И только отсутствие универсальных приборов или программ, которые автоматизируют диагностику любого насоса или газотурбинного двигателя, подсказывает, что чего-то ещё не хватает.
Это всё наводит нас на мысли о необходимости построения моделей "на стыке" областей - машинного обучения, цифровой обработки сигналов, физического моделирования механических систем. Назовём это (по аналогии) "серым ящиком". Такая модель строится на основании всех доступных знаний о моделируемой системе, включая её состав и упрощённое представление её элементов. Эта идея тоже не новая, см. например о data–model fusion подходах. Полагаем, что именно это направление наиболее перспективное для получения новых результатов.
❗️ Послесловие
Мы не обещаем решить глобальные проблемы, стоящие в отрасли, но направляем свои усилия в эту сторону. В следующих публикациях рассмотрим методы, уже применяемые для диагностирования оборудования по сигналам вибрации. После изложим наши соображения и наработки в построении таких "серых ящиков" и наши подходы к моделированию и диагностированию роторного оборудования.
Подчас кажется, что существуют две практически непересекающиеся вселенные. В первой, как говорили классики, "истина всегда конкретна". Если речь идёт о моделировании механических систем, то речь идет про их точное воссоздание методом конечных элементов. Хочешь перенести свои наработки на новое устройство? Тогда тебе не составит труда собрать новую такую же модель!
Во второй — истина максимально туманна. Она растворена в озёрах данных, и единственный способ хоть как-то к ней приблизиться — сконцентрировать в чёрный ящик (речь о большинстве ML моделей), в который нет никакого способа заглянуть! Вернее, посмотреть-то можно, но понять увиденное...
Попытки пообщаться эти вселенные всё же совершают.
◾️Примеры ML в вибродиагностике и "черные ящики"
Возьмём недавнюю статью, где авторы использовали свёрточную нейросеть для различения дефектов подшипников качения. На вход нейросети подаются коэффициенты вейвлет-преобразования. Они далеко не первые, кто так делают. В работе приведены формулы расчёта "подшипниковых частот", т.е. частот взаимодействия его элементов между собой. Как эти частоты помогут в дальнейшем — не раскрыто. На приведённой скалограмме кратко поясняется, почему вейвлет-преобразование подходит для анализа вибрации подшипников.
Получить достаточно полное представление о состоянии области на сегодняшний день может помочь недавний обзор применяемых подходов к диагностированию по сигналам вибрации. Здесь тоже не предполагается само моделирование физической системы. Связь получаемых после обработки коэффициентов с результатами диагностирования полностью доверяется "чёрному ящику".
◽️"Серые ящики"
Наличие "подшипниковых частот" и пригодных для обработки методов подсказывает, что есть ещё целая область знаний, находящаяся между "чёрными ящиками" и "белыми ящиками" максимально конкретных моделей. И действительно, в деле вибрационной диагностики немало таких наработок, которые конвертируются в диагностические (экспертные) правила. Эти правила работают для разнообразного оборудования, конструкция которого нам известна. И только отсутствие универсальных приборов или программ, которые автоматизируют диагностику любого насоса или газотурбинного двигателя, подсказывает, что чего-то ещё не хватает.
Это всё наводит нас на мысли о необходимости построения моделей "на стыке" областей - машинного обучения, цифровой обработки сигналов, физического моделирования механических систем. Назовём это (по аналогии) "серым ящиком". Такая модель строится на основании всех доступных знаний о моделируемой системе, включая её состав и упрощённое представление её элементов. Эта идея тоже не новая, см. например о data–model fusion подходах. Полагаем, что именно это направление наиболее перспективное для получения новых результатов.
Мы не обещаем решить глобальные проблемы, стоящие в отрасли, но направляем свои усилия в эту сторону. В следующих публикациях рассмотрим методы, уже применяемые для диагностирования оборудования по сигналам вибрации. После изложим наши соображения и наработки в построении таких "серых ящиков" и наши подходы к моделированию и диагностированию роторного оборудования.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥7👏4❤1
📹Использование Zero-shot и искусственных данных в проектах по компьютерному зрению
С проблемами в данных, наверно, сталкивался каждый ДС в промышленности, да я об этом буквально постоянно пишу и говорю. Но самая большая проблема — отсутствие данных,потому что тогда мы (ДСы) не нужны 🙂 . При этом отсутствие данных может быть разным: отсутствие разметки, важных признаков, накопленной истории. В технической диагностике частая проблема — отсутствие примеров поломок, то есть разметки. Приходится выкручиваться и придумывать semi-supervised подходы. Но и в задачах компьютерного зрения бывает не хватает прецедентов аномалий/нарушений/пожаров, крч примеров положительного класса. Вот Дима (ex-техлид CV команды еврохима) очень понятно и интересно рассказал про то, как бороться с недостатком данных. Коротко — можно генерить, осталось посмотреть доклад и понять, как технически это делать.
По моему опыту во временных рядах и табличных данных, генерация синтетики не особо хорошо работает. То есть может повысить качество решения задачи, но очень ограниченно. При отсутствии в данных поломок, нагенирировать физически корректные поломки довольно сложно. Аугментация может работать, хотя мб и не так хорошо, как в CV.
Кстати, в докладе еще есть и много информации по инструментам, решающим все типовые задачи в CV, коротко:
• Классификация — CLIP
• Детекция — Grounding DINO, YOLO-world
• Семантическая сегментация — SAM, SAM2, FastSAM, CLIPSeg
• Инстанс-сегментация — Grounded SAM, LangSAM
Но мне понравились рекомендации и подсказки, как стоит собирать пайплайны, например, для инстанс сегментации: Zero-shot детектор➡️ SAM. Все на промышленных примерах 🔥 . Ну и не зря доклад называется "... Zero-shot ...": Дима акцентирует внимание и рассказывает о том, как эффективно проводить PoC в CV на open-source инструментах с предобученными сетками без лишних затрат. А CV в промышленности очень много...
Напоследок дополню еще одним докладом. Похожим, но с описанием немного других подходов и инструментов.
📎 Еще у Димы есть канал на ютубе с очень полезным обучающим контентом (вк версия канала).
С проблемами в данных, наверно, сталкивался каждый ДС в промышленности, да я об этом буквально постоянно пишу и говорю. Но самая большая проблема — отсутствие данных,
По моему опыту во временных рядах и табличных данных, генерация синтетики не особо хорошо работает. То есть может повысить качество решения задачи, но очень ограниченно. При отсутствии в данных поломок, нагенирировать физически корректные поломки довольно сложно. Аугментация может работать, хотя мб и не так хорошо, как в CV.
Кстати, в докладе еще есть и много информации по инструментам, решающим все типовые задачи в CV, коротко:
• Классификация — CLIP
• Детекция — Grounding DINO, YOLO-world
• Семантическая сегментация — SAM, SAM2, FastSAM, CLIPSeg
• Инстанс-сегментация — Grounded SAM, LangSAM
Но мне понравились рекомендации и подсказки, как стоит собирать пайплайны, например, для инстанс сегментации: Zero-shot детектор
Напоследок дополню еще одним докладом. Похожим, но с описанием немного других подходов и инструментов.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Использование Zero-shot и искусственных данных в проектах по компьютерному зрению / Дм. Колесников
Профессиональная конференция для IT-специалистов реального сектора Industrial++ 2024
Презентация и тезисы:
https://industrialconf.ru/2024/abstracts/12782
Часто бывает, что на производстве получить достаточное количество данных для обучения нейронных сетей…
Презентация и тезисы:
https://industrialconf.ru/2024/abstracts/12782
Часто бывает, что на производстве получить достаточное количество данных для обучения нейронных сетей…
🔥13👍4👏2
Сегодня цикл статей о роли CDO от Reliable ML.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Reliable ML
Советы для CDO - Part #1
Обзор книги Carruthers, Jackson - The Chief Data Officer's Playbook
Прочитала CDO Playbook и хочу поделиться моментами, которые показались интересными.
В целом в книге ну очень высокая доля воды относительно полезной информации…
Обзор книги Carruthers, Jackson - The Chief Data Officer's Playbook
Прочитала CDO Playbook и хочу поделиться моментами, которые показались интересными.
В целом в книге ну очень высокая доля воды относительно полезной информации…
👍4❤3🔥2
Доменная экспертиза для DSов в промышленности
🔵 Одним из требований (или одной из составлящих) профессии датасайентиста является экспертиза в доменной области. В промышленности это требование имеет еще большую важность из-за большой ответственности (промышленные объекты являются опасными или объектами промышленного риска), сложности технологических процессов и пересечения с разными смежными науками (физика, химия, механика и тд). К тому же уровень экспертизы прямо влияет на успешность проекта, писал здесь:
🔵 Погружение в доменную область обычно является частью этапов PoC, пресейла, предпроектного обследования, но продолжается обычно на протяжении всего проекта. Более того не нужно думать, что, узнав процесс на одном производстве, вы теперь знаете все подобные производства. Конечно, физика и химия в обогащении меди или золота не меняется от фабрики к фабрике, но "дьявол кроется в мелочах". Поэтому готовьтесь проходить процесс погружения (пусть и в укороченном виде) на каждом проекте и каждом производстве отдельно. Бесспорно: с опытом становится легче и многие нюансы повторяются.
Как нарабатывать экспертизу?
Оптимальным планом я считаю следующий:
1️⃣Короткое погружение в теорию (2 дня-2 недели):
• Начать с видео на ютубе, типа такого или такого. А вот (часть 1, часть 2) хороший пример простых материалов по процессу с золотом.
• Можно начинать изучение тех регламента, инструкций, схем цепей и механизмов и тд.
• Стоит перерисовать схему производственного процесса в упрощенном и понятном виде, нанося релевантную информацию: точки измерений, узкие места, длительность операций, количество отказов, управляющие воздействия (можно прямо в терминах MV, CV, DV), последовательность операций, движение продукции, потоки. Можно даже потоки данных, но лучше как-то схемы разделять. Пример такой PFD диаграммы на картинке.
2️⃣Практическое знакомство с производством (1-2 недели):
• Экскурсия, вопросы по итогам теоретического погружения
• Инсайты от производственников из "курилки"
• На этом этапе уже важно иметь глоссарий аббревиатур, терминов и жаргонизмов
3️⃣Комплексное глубокое изучение (от 2 недель и до конца проекта):
• Теория процессов и технологии (учебники, статьи, аналитические материалы)
• Практика производства (консультации с производственниками, повторные командировки)
• Анализ данных и референсы (EDA и изучение данных, дозапросы данных и уточнение инсайтов, анализ опыта решения задач коллегами в отрасли из аналитических отчетов, публичных материалов, референс визиты в другие компании и общение с коллегами)
Лучше опыта работы, нахождения на производстве, общения с персоналом ничего нет. Но, чтобы не раздражать персонал глупыми вопросами, базовые теоретические знания стоит получить до общения.
➕ Хорошо дополнит пост слайд "Изучение контекста задачи" с конкретными шагами на старте проекта от Вячеслава Козицина из Еврохима.
Как сохранять экспертизу?
Важно сохранять знания и артефакты в какую-то базу знаний (wiki, confluence). Это важно не только для данного проекта, но и для подобных проектов в будущем. К тому же это важно не только для себя, но и для команды проекта, например, на этапе предпроектного обследования 1 человек погружается и готовит материалы, а на старте проекта уже вся команда погружается, используя подготовленные материалы. Какие артефакты:
• Глоссарий терминов
• (если возможно) Фото и видео оборудования, тех процесса
• Краткое описание и характеристики оборудования, процесса
• Схемы тех процессов в понятном/упрощенном виде с комментариями и актуальными расположениями элементов (они регулярно меняются и могут отличаться от тех инструкций)
• EDA с комментариями, гипотезами и инсайтами
Я пойду дальше и скажу, что умение разбираться в технологическом процессе даже важнее, чем навыки DS. Недавно обсуждали с Head of DS крупной промышленной корпорации, что выше вероятность сделать проект и принести эффект у “технолога с небольшими навыками DS”, чем у “DSа с небольшими знаниями технологии”.
Как нарабатывать экспертизу?
Оптимальным планом я считаю следующий:
1️⃣Короткое погружение в теорию (2 дня-2 недели):
• Начать с видео на ютубе, типа такого или такого. А вот (часть 1, часть 2) хороший пример простых материалов по процессу с золотом.
• Можно начинать изучение тех регламента, инструкций, схем цепей и механизмов и тд.
• Стоит перерисовать схему производственного процесса в упрощенном и понятном виде, нанося релевантную информацию: точки измерений, узкие места, длительность операций, количество отказов, управляющие воздействия (можно прямо в терминах MV, CV, DV), последовательность операций, движение продукции, потоки. Можно даже потоки данных, но лучше как-то схемы разделять. Пример такой PFD диаграммы на картинке.
2️⃣Практическое знакомство с производством (1-2 недели):
• Экскурсия, вопросы по итогам теоретического погружения
• Инсайты от производственников из "курилки"
• На этом этапе уже важно иметь глоссарий аббревиатур, терминов и жаргонизмов
3️⃣Комплексное глубокое изучение (от 2 недель и до конца проекта):
• Теория процессов и технологии (учебники, статьи, аналитические материалы)
• Практика производства (консультации с производственниками, повторные командировки)
• Анализ данных и референсы (EDA и изучение данных, дозапросы данных и уточнение инсайтов, анализ опыта решения задач коллегами в отрасли из аналитических отчетов, публичных материалов, референс визиты в другие компании и общение с коллегами)
Лучше опыта работы, нахождения на производстве, общения с персоналом ничего нет. Но, чтобы не раздражать персонал глупыми вопросами, базовые теоретические знания стоит получить до общения.
Как сохранять экспертизу?
Важно сохранять знания и артефакты в какую-то базу знаний (wiki, confluence). Это важно не только для данного проекта, но и для подобных проектов в будущем. К тому же это важно не только для себя, но и для команды проекта, например, на этапе предпроектного обследования 1 человек погружается и готовит материалы, а на старте проекта уже вся команда погружается, используя подготовленные материалы. Какие артефакты:
• Глоссарий терминов
• (если возможно) Фото и видео оборудования, тех процесса
• Краткое описание и характеристики оборудования, процесса
• Схемы тех процессов в понятном/упрощенном виде с комментариями и актуальными расположениями элементов (они регулярно меняются и могут отличаться от тех инструкций)
• EDA с комментариями, гипотезами и инсайтами
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥9✍3👏1
Моделирование работы гидроциклона для очистки воды от нефти с помощью ML
Поделюсь интересной статьей с хабра — поддержим коллегу❗️
Отмечу несколько моментов:
✅ Согласен с формулировкой "Если разработанное решение решает задачу уже на в полуавтомате 3+, то это уже успех". Называю это иногда "инженерный подход". Сюда же отношу всегда транслируемый мной фокус на решении задачи, а не внедрении ИИ любой ценой. Другими словами: если решение без ИИ или простая линейная модель решает задачу достаточно качественно, то это прекрасно. Даже лучше, чем ИИ. Разве что мы гонимся за кэггловской точностью, но это редкость в промышленности.
✅ Тот самый пример "технолога с навыками DS" — специалиста с глубокими знаниями в предметной области с навыками работы с данными, статистики и ML. По моему мнению — эффективное сочетание. Дальше только качать знания в DS, ну и другие навыки подтягивать (скоро расскажу о навыках).
✅ Схемы и майндмапы — 💯 . И для себя, и в инструкциях, и в презентациях решения. Такие, чтобы архитектура, подходы, варианты были всем понятны. Это требует время, но всегда окупается.
✅ Простая модель и интеграция в EXCEL (чтобы совсем бесшовно интегрироваться в бизнес-процесс) — отличное решение для реальной задачи.
📎 В репозиторий тоже добавил
Поделюсь интересной статьей с хабра — поддержим коллегу
Отмечу несколько моментов:
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Моделирование работы гидроциклона для очистки воды от нефти с помощью ML
Привет, Хабр! Это моя первая статья здесь, так что начну с краткого знакомства. Я инженер по моделированию процессов добычи и подготовки нефти и газа, а до этого работал непосредственно «в поле»...
🔥16👍10
Очередной майлстоун в моей "карьере" исследователя: если раньше было 💯 цитирований моего профиля всего, то теперь 💯 цитирований пробила всего лишь одна статья.
Станет постоянной рубрикой: будем вместе отмечать поздравления от scholar.google❤️
Станет постоянной рубрикой: будем вместе отмечать поздравления от scholar.google
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍46❤12
AI/ML/DS в вибродиагностике. Часть 2 — погружение
Часть 1. Продолжаем с Даниилом цикл, посвящённый вибродиагностике роторного оборудования.
⛓️💥 Неразрушающий контроль
Вибродиагностика является частью более обширной области неразрушающего контроля (см. ГОСТ Р 56542-2015). Последнее означает, что нам не требуется демонтировать и разбирать оборудование для оценки его технического состояния. При этом, существуют как активные методы, связанные с искусственным воздействием на диагностируемый объект (ультразвуком, ударными импульсами, электромагнитными полями и тд), так и пассивные. Последние собирают информацию об оборудовании во время его работы. Этим они и привлекательны, поскольку о возникшей неисправности можно узнать сразу или даже заранее, не останавливая производственный процесс. Возвращаясь к вибродиагностике, постулируем, что вибрация изменяется одновременно с изменением состояния оборудования [1]. Этот и другие факты делают вибродиагностику одним из самых распространённых методов неразрушающего контроля. При этом, не стоит забывать о контроле температуры подшипников и измерении фазного тока электродвигателя❗️
Информативность вибрации
➕ Измерение вибрации привлекательно ещё и тем, что вибрация очень информативна. Она содержит в себе информацию о взаимодействии деталей машины между собой и с окружающей средой, поскольку представляет собой перемещение элементов упругой системы под воздействием на неё динамических сил. Кстати, эти силы возникают как в ходе нормальной эксплуатации машины, так и при отклонении её состояния от нормы. Они имеют механическую природу (кинематические силы и силы дисбаланса), электромагнитную или аэро-, гидродинамическую природу [2].
➖ Но у такой информативности есть и обратная сторона: нужны методы для разделения компонентов вибрации и интерпретации полученных результатов. Измеренная в каждой точке вибрация является суперпозицией производимых несколькими элементами колебаний. Методы её обработки, разработанные исходя из наших физических представлений и накопленной диагностами практики, учитывают это. В дальнейшем пробежимся по многообразию существующих методов и поймём, почему они появились и используются. При этом, речь будет идти о диагностике роторного оборудования по сигналам его вибрации, записанным во время его работы.
💯 Базовые понятия
• Под "вибрацией" можно понимать перемещение s(t), скорость v(t), ускорение a(t) поверхности в точке измерения. Все три величины однозначно взаимосвязаны (рис. 1), поэтому можно измерять одну из них, а другие высчитывать [3]. В большинстве случаев, используется сигнал виброускорения, чего будем придерживаться и мы (если не сказано иное). В таком случае для измерения вибрации используется акселерометр.
• Выбор точки измерения очень важен, но в большинстве случаев вибрация измеряется на корпусе машины в месте установки подшипника (рис. 2-4). Считается, что в этой точке "слышны" колебания самого подшипника, вала и насаженных на него элементов (например, рабочих и зубчатых колёс). При этом, корпус должен быть монолитным, а датчик устанавливается перпендикулярно оси вращения вала и не отделяется от корпуса подшипника крышкой, кожухом и т.п.
• Дополнительные точки установки — в месте крепления оборудования к фундаменту, на корпусе ступени насоса. Подробнее об установке датчиков — см. [2], раздел 4.2.
• Упомянутая здесь "слышимость" элементов связана с затуханием высокочастотных колебаний в материале. А лучшая проводимость обеспечивается в наиболее жёстких элементах конструкции. С этим связана и возможность локализации дефекта: в выбранной точке в выбранном направлении (как правило — радиальном, реже выбирается осевое) датчиком регистрируются колебания нескольких элементов. Существуют методы, как разделяющие вибросигнал на компоненты, так и нет, о чём поговорим в дальнейшем.
📚 Список литературы
[1] Абрамов И. Л. Вибродиагностика энергетического оборудования
[2] Барков А. В. и др. Мониторинг и диагностика роторных машин по вибрации
[3] Brandt A., etc. Integrating time signals in frequency domain – Comparison with time domain integration
Часть 1. Продолжаем с Даниилом цикл, посвящённый вибродиагностике роторного оборудования.
Вибродиагностика является частью более обширной области неразрушающего контроля (см. ГОСТ Р 56542-2015). Последнее означает, что нам не требуется демонтировать и разбирать оборудование для оценки его технического состояния. При этом, существуют как активные методы, связанные с искусственным воздействием на диагностируемый объект (ультразвуком, ударными импульсами, электромагнитными полями и тд), так и пассивные. Последние собирают информацию об оборудовании во время его работы. Этим они и привлекательны, поскольку о возникшей неисправности можно узнать сразу или даже заранее, не останавливая производственный процесс. Возвращаясь к вибродиагностике, постулируем, что вибрация изменяется одновременно с изменением состояния оборудования [1]. Этот и другие факты делают вибродиагностику одним из самых распространённых методов неразрушающего контроля. При этом, не стоит забывать о контроле температуры подшипников и измерении фазного тока электродвигателя
Информативность вибрации
• Под "вибрацией" можно понимать перемещение s(t), скорость v(t), ускорение a(t) поверхности в точке измерения. Все три величины однозначно взаимосвязаны (рис. 1), поэтому можно измерять одну из них, а другие высчитывать [3]. В большинстве случаев, используется сигнал виброускорения, чего будем придерживаться и мы (если не сказано иное). В таком случае для измерения вибрации используется акселерометр.
• Выбор точки измерения очень важен, но в большинстве случаев вибрация измеряется на корпусе машины в месте установки подшипника (рис. 2-4). Считается, что в этой точке "слышны" колебания самого подшипника, вала и насаженных на него элементов (например, рабочих и зубчатых колёс). При этом, корпус должен быть монолитным, а датчик устанавливается перпендикулярно оси вращения вала и не отделяется от корпуса подшипника крышкой, кожухом и т.п.
• Дополнительные точки установки — в месте крепления оборудования к фундаменту, на корпусе ступени насоса. Подробнее об установке датчиков — см. [2], раздел 4.2.
• Упомянутая здесь "слышимость" элементов связана с затуханием высокочастотных колебаний в материале. А лучшая проводимость обеспечивается в наиболее жёстких элементах конструкции. С этим связана и возможность локализации дефекта: в выбранной точке в выбранном направлении (как правило — радиальном, реже выбирается осевое) датчиком регистрируются колебания нескольких элементов. Существуют методы, как разделяющие вибросигнал на компоненты, так и нет, о чём поговорим в дальнейшем.
[1] Абрамов И. Л. Вибродиагностика энергетического оборудования
[2] Барков А. В. и др. Мониторинг и диагностика роторных машин по вибрации
[3] Brandt A., etc. Integrating time signals in frequency domain – Comparison with time domain integration
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥7❤1⚡1
Исследование специалистов по работе с данными — 2025
В прошлом году вышел интересный отчет от DevCrowd по тому, как работают дата-инженеры, аналитики, дата-сайентисты, ML-инженеры. Но, признаюсь, мне не хватило отраслевой специфики и, в частности, информации про промышленность👨 , типа:
• источники знаний
• популярные авторы
• особенности инструментов
• и тд
Ребята из DevCrowd рассказали, что для выделения направлений не хватило данных (иронично, что это частая проблема в промышленности). Поэтому предлагаю в этом году накинуться всем вместе и обогатить их датасет. Это в наших же интересах❗️
📝 Опрос займёт 15 минут, результаты обещают в открытом доступе в августе.
💪 Пройти опрос
В прошлом году вышел интересный отчет от DevCrowd по тому, как работают дата-инженеры, аналитики, дата-сайентисты, ML-инженеры. Но, признаюсь, мне не хватило отраслевой специфики и, в частности, информации про промышленность
• источники знаний
• популярные авторы
• особенности инструментов
• и тд
Ребята из DevCrowd рассказали, что для выделения направлений не хватило данных (иронично, что это частая проблема в промышленности). Поэтому предлагаю в этом году накинуться всем вместе и обогатить их датасет. Это в наших же интересах
📝 Опрос займёт 15 минут, результаты обещают в открытом доступе в августе.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍5🤝3🔥1