Машинное обучение в обнаружении

Есть масса применений машобуча в ИБ и нередко на маркетинговых мероприятиях можно услышать об успехах применения машинного обучения без учителя для обнаружения: есть некоторый движок, выполняющий профилирование, который затем выдает статистические отклонения. Проблема тут в том, что "статистическое отклонение" - это не всегда "инцидент", и окончательное решение принимает человек. Понятие инцидента - не простое, поэтому построить классификатор, который будет выдавать не статистическое отклонение, а инцидент невозможно без анализа обратной связи от пользователя (варианты решения этой задачи с помощью LLM пока не будем рассматривать, но и там проблем немало, ибо закономерность сохраняется: чем сложнее система, тем сложнее ей пользоваться). А это уже вопрос, решаемый в рамках машинного обучения с учителем, однако, в этом случае, для получения удовлетворительных результатов, нам нужны размеченные данные, типа, вот это статистическое отклонение - инцидент, а вот это статистическое отклонение - не инцидент. Кроме того, на практике нередки и false negative (пропуски), т.е. Модель надо подкрутить так, чтобы в сценариях прошлых промахов она, таки, выдавала статистическое отклонение, которое будет интерпретировано пользователем как инцидент. Чем размеченных данных будет больше, тем лучше, а если данных будем мало, построение такого классификатора под большим вопросом.

Таким образом, налицо двухходовочка:
- Unsupervised ML поможет найти статистическое отклонение - здесь будет много False positives, но практика показывает, что будут и False negative (собственно, этот объем False* и является основным аргументов скептиков относительно пригодности ML в ИБ вообще, сравнивающих ML-вердикты с выдачей ГПСЧ)
- Supervised ML теоретически можно обучить распознавать среди статистических отклонений инциденты, но в этом случае нужны большие размеченные данные, как например, в случае Автоаналитика

В нашем случае упомянутая двухходовочка для обнаружения горизонтальных перемещений в сети реализована одной Моделью без учителя. Но для поддержания удовлетворительного качества работы, все ее False* разбираются с участием аналитиков команды SOC, после чего Модель дорабатывается: начинает ловить прошлые пропуски и не генерить статистическое отклонение в определенных сценариях, не являющихся инцидентом.

Итого, нам всем нужно понимать:
1. Статистическое отклонение, выдаваемое Моделью без учителя - это еще не Инцидент
2. Для того, чтобы Модель научилась выдавать не статистические отклонения, а инциденты, обязательна обратная связь от пользователя, разметка данных пользователями
3. Чтобы обучить Модель на размеченных данных, их должно быть много
4. Нужно заниматься постоянным тюнингом Модели без учителя, выдающей статистические отклонения, чтобы она выдавала бизнес-значимые статистические отклонения, т.е. инциденты
5. В "коробочных" on prem решениях есть проблемы с получением обратной связи от пользователя и ее анализом, чтобы подстраивать и переобучать Модель, т.е. пп. 2-4 нереализуемы

В итоге получаем, что более-менее рабочим сценарием является портирование обученных моделей из облачных сервисов в on prem решения. Как, в частности, мы и сделаем с моделью обнаружения горизонтальных перемещений, которая из MDR когда-то станет доступна в KUMA. В этом случае постоянство качества Модели будет обеспечиваться ее постоянным тюнингом в рамках сервиса в предположении, что в пользовательской инфраструктуре демонстрируемые ею статистические отклонения будут интерпретировать как инциденты по тем же правилам, что и в MDR. Это очередная прекрасная демонстрация как правильно выкристаллизовывать облака в on prem, а никак не наоборот!

#MDR #vCISO #ml

Одним из элементов интерьера кофейни с лучшим кофе в Кисловодске "Мастерская кофе" являются лыжи.

Поначалу мне это казалось нелепостью, поскольку в Кисловодске снег обычно не лежит более одного дня, редкой зимой бывает до недели, но его глубины точно недостаточно для лыжных пробежек. Однако, по крайней мере в нашем доме, практически в каждой семье есть санки и снегокаты....

Однажды, после утренней пробежки, выполняя свой стандартный ритуал Большого Американо в Мастерской кофе в районе Центрального рынка, мне открылась вся глубина лыж и снегокатов в Кисловодске. Это - олицетворение очень трудно досягаемой цели, мечты, надежды, которая, несмотря на всю свою призрачность никогда не умирает и на протяжении всей нашей жизни продолжает согревать и мотивировать не сдаваться, не отпускать руки, ждать, надеяться и верить!

#пятница #здоровье

AI Agents vs. Prompt Injections

Мой приятель и замечательный человек Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения (Центр исследования технологий искусственного интеллекта), человек, который внимательнейшим образом выслушивает все мои бредовые идеи по автоматизации нашей работы с использованием машобуча, с которым у нас длиннющий бэклог и громадье совместных планов, [... и много чего... еще] дает вебинар, подробности в канале у Влада.

#ml

Первый вредоносный MCP-сервер в мире

А вот и вредоносные MCP поспели!
The Register
Dark Reading
Оригнальная публикация от KOI

Понятно, что не все что скачивается с Github безопасно, однако, в свете последних тенденций атака отдает новизной.
Как и ожидалось, новый слой абстрации, в данном случае MCP, расширяет поверхность атаки.

#ml #vCISO