🛠 В этом посте писал про решение задачи определения остаточного ресурса для трансформаторов АЭС. Напомню, что решение задачи доступно в посте на хабре. Также теперь на medium доступен перевод статьи на английский.

🎛 Наконец, хотел снова затронуть тему публичных наборов промышленных данных и дополнить этот пост. Для задачи остаточного ресурса (RUL) существует совсем немного таких датасетов, вот список наиболее представительных (разных по сложности, отрасли и другим характеристикам):
- NASA Bearing Dataset
- Battery Remaining Useful Life (RUL)
- NASA Turbofan Jet Engine Data Set. О нем упоминал в этом посте, там больше информации и контекста
- Water Pump RUL
- NPP power transformer RUL. Датасет, на котором и продемонстрировано решение задачи определения остаточного ресурса для трансформаторов АЭС по ссылкам выше

🆓 Все ссылки на Kaggle, поэтому польза их еще и в том, что можете найти там блокноты с примерами решения задачи на датасете и подчерпнуть для себя что-то новое.

🤖 Исторически так сложилось, что основной мой фокус в применении машинного обучения в промышленности пришелся именно на задачи технического обслуживания и ремонта (ТОиР) оборудования. А если еще точнее, то на задачах технической диагностики (примеры: пост 1, пост 2, пост 3, пост 4, пост 5). Стоит заметить, что внедрение машинного обучения в процессы ТОиР не всегда экономически эффективно на практике (часто эффект сложно посчитать и доказать), поэтому многие разработчики решений в области ИИ концентрируются на задачах оптимизации производственных процессов (как и я в последнее время), где повышение эффективности производства напрямую можно перевести в деньги. Кстати, про эффекты и сложности проведения испытания для подтверждения эффектов будет отдельный пост.

💎 Если вам интересно углубиться в процесс ТОиР, диагностики, разобраться в надежности, предиктивном обслуживании (не путать с предиктивной аналитикой!), да в конце концов посмотреть мемы по этим темам, то заходите в канал Asset Management Press. Там и про машинное обучение бывает.

‼️ Предупреждаю о высоком уровне экспертности автора и сообщества в канале, может быть сложно, но почему бы не погрузиться и не разобраться, если интересно.

🔬 А вот и долгожданный препринт научной статьи по теме обработки данных и поиска дефектов в нефтегазовых трубопроводах с помощью анализа данных и машинного обучения
Доклад о проекте и описание истории проекта в этом посте

Отмечу несколько моментов:
• В статью не вошло сравнение с SOTA (state-of-the-art) архитектурами, но есть такая статья, где это подробно происследовано для похожей задачи
• Статья ограничена задачей поиска дефектов, про задачу оценки их размеров (сегментации изображений), о которой рассказывал и в докладе, мб когда-нибудь выйдет отдельная статья
• Хотя в статье и предложена архитектура для решения задачи с лучшим качеством, но ничего интересного в этой архитектуре, конечно, нет
• Основной фокус статьи все-таки на препроцессинге: по сравнению с архитектурой сети для классификации изображений результаты исследования методов препроцессинга (заполнения пропусков, центрирования дефектов/швов, масштабирования данных по картинке/по всему датасету) по-моему довольно интересные и очень прикладные!

На самом деле я уже какое-то время не занимаюсь исследованиями, но есть несколько недописанных статей, которые еще будут выходить по мере появления свободного времени, придется потерпеть 🙃

🎩 Природа аномалий в данных

Аномалии в данных могут являться следствием изменений в модели генерации данных (бизнес-процессе, процессе сбора данных, физике или технологии процесса). Однако часто аномалии представляют собой проблемы с данными. Поэтому и выбросы часто приравнивают к недопустимым (некорректным или нефизичным) значениям, хотя вообще более правильно определять их как точечные аномалии и, в зависимости от доменной области, индивидуально оценивать следствием чего эти аномалии являются (все-таки проблемы с данными или с процессом). Кстати, про причины проблем с данными уже писал и рассказывал (все здесь). А из-за важности задачи поиска аномалий в определении качества данных даже пришлось полдоклада о предварительной обработке данных этому посвятить.

🤔 Почему я это все повторяю? На самом деле методы поиска аномалий обычно являются довольно универсальными средствами для обнаружения аномалий разной природы (изменения в процессе или проблемы с данными), а поэтому эта задача актуальна как для специалистов по данным, так и для специалистов, анализирующих процесс. Хотя традиционно к аномалиям=проблемам в данных мы относимся проще и детектируем их какими-нибудь робастными топорными способами, типа трех сигм. А исправляем/фильтруем еще проще - удалением из выборки (но как еще тут поступать - отдельная история). При этом в голове среднего ДСа без специализации на данной области все вышесказанное довольно сильно перемешано (аномалии=проблемы в данных, нет разделения задач changepoint и outlier detection и тд), что скорее даже хорошо и зачастую оправдано.

🤔 Так к чему это все? Прикладываю любопытную статью от вообще-то международного технологического (или все-таки всего лишь телекоммуникационного) гиганта, где задачу поиска точек изменения состояния (changepoint detection) решают именно в рамках стратегии по оценке качества данных, причем предлагают интересные комбинации методов/пайплайны, правда оценивая все полученное на далеко не самых лучших бенчмарках.