Building a Successful Career in AI Cybersecurity

SANS выпустил документ, подчеркивающий важность вполне себе глубокого погружения нас, безопасников в машобуч, и представляющий собой руководство по построению карьеры на стыке искусственного интеллекта и кибербезопасности.

Ключевые выводы из доки
1. Конвергенция AI и Cybersecurity:
Документ подчеркивает, что искусственный интеллект и машинное обучение (ML) кардинально меняют ландшафт ИБ. AI используется как для усиления защиты, так и в качестве инструмента атак

2. п. 1 объясняет растущий спрос на специалистов:
Возникает новая категория ролей, таких как "Инженер по безопасности AI/ML" или "Специалист по безопасности данных", которые требуют уникального сочетания навыков ИБ и Машобуча.

3. Из доки можно выделить необходимые навыки и знания:
Технические навыки (Hard Skills):
- Понимание основ машинного обучения и data science.
- Знание языков программирования (Python, R) и умение работать с данными.
- Опыт работы со специализированными фреймворками и библиотеками (TensorFlow, PyTorch, scikit-learn).
- Глубокие знания в области ИБ
- Понимание облачных платформ (AWS, Azure, GCP) и их систем безопасности.

Soft Skills:
- Критическое и аналитическое мышление.
- Решение сложных проблем.
- Коммуникация (способность объяснять сложные концепции AI нетехническим специалистам).
- Любознательность и постоянное стремление к обучению.

4. Рекомендации по построению карьеры:
- Начните с основ: Получите прочную базу в классической ИБ (сертификаты типа CISSP, SSCP, CCSP очень приветствуются).
- Освойте Data Science: Изучите математику, статистику и основы машинного обучения через онлайн-курсы (Coursera, edX) или практические проекты.
- Получайте практический опыт: Применяйте свои знания в реальных проектах, участвуйте в соревнованиях по анализу данных (например, на Kaggle) или в открытых source-проектах.
- Вступайте в профессиональные сообщества, посещайте конференции и общайтесь с экспертами в этой области.

С развитием технологий и ужесточением регулирования спрос на экспертов, способных обеспечивать безопасность, надежность и этичность AI-систем, будет только расти.

Документ позиционирует карьеру в сфере AI Cybersecurity как одну из самых перспективных и востребованных в технологической индустрии. Это поле требует непрерывного обучения, но предлагает уникальную возможность быть на передовой борьбы с киберугрозами нового поколения и формировать будущее цифровой безопасности.

#ml #саморазвитие #vCISO

Утечки - характеристика уровня Цифровизации!

Все много говорят о росте компрометаций и утечек, вот, например, видео в тему, утащенное у кого-то из сториз Телеги. Ну, а что это характеризует? Уровень цифровизации! Утечка означает, что бизнес-процесс оцифрован, а так как утекают практически любые данные, можно с уверенностью сказать, что цифровизация у нас близка к 100%, цель достигнута!

Как я отмечал на конференции Сбера 7 лет назад, наше стремление к тотальной цифровизации имеет и оборотную сторону. И проблема здесь концептуальная: цифровизация всегда увеличивает поверхность атаки. Информационные системы (ИС) очень сложны, поэтому чтобы как-то с ними справляться, мы разбиваем их на уровни, вроде, инфраструктуры и приложений, а каждый уровнь у нас содержит чудовищное количество компонентов, каждый из которых может, в свою очередь, переиспользовать другие компоненты, и все они поддерживаются и развиваются разными командами. Даже в функционально несложных ИС мы можем насчитать сотни и тысячи компонентов, где компрометация каждого - потенциальный риск взлома всей ИС, - этакая гипертрофированная цепочка поставок и повсеместные доверительные отношения... ну а как еще? Если нет возможности во всем разбираться самому (== все делать самостоятельно), приходится доверять поставщикам и партнерам, а по факту - фиксируем рост атак на цепочку поставок и доверительные отношения.

Что делать? Наверно, повторю то же, что писал про автоматизацию, но это не будет лишним.
1. цифровизировать нужно только то, где это принципиально необходимо
2. минимизировать количество зависимостей, тем более зависимостей от неконтролируемых разработок (например, не производимых в стране)
3. иметь наготове бэкап-план работы "без цифровизации", т.е. каждый цифровизированный процесс должен иметь BCP его работы в условиях когда цифровая его реализация невозможна (банально, нет света, связи, цифровые данные потерты)
4. чтобы п. 3 работал, полезно проводить учения, ну и DRP надо бы иметь, ибо, поработав с бумагой и карандашом, надо когда-то вернуться к привычной цифровой реализации

#управление #пятница #РФ

На выходных удалось немного найти время на интересное, делюсь полезными находками

1. Отличная серия онлайн-мероприятий о практическом использовании машобуча в кибербезе. Можно зарегистрироваться и принять участие (я зарегистрировался, но в итоге смотрел в записи).
Релевантные моим проиводственным интересам:
David Kennedy - AI-Assisted SOC Automation and Threat Analysis
Randy Pargman - AI-Assisted Malware Reverse Engineering
Jonathan Cran - Intelligent Threat Intel Tooling
Также, есть выпуски про Offensive и про риски и инфобез вообще - не смотрел

2. В продолжение прокачивания темы AI-агентов поизучал LangGraph: Build AI Agents and Chatbots with LangGraph - "галопом по Европам", но, в качестве быстрого погружения, курс неплох. В процессе выполнения лаб понял, что я не настолько здорово знаю Python, поэтому в ближайшее время решил подтянуть свои способности в питонизации (пишите, если интересно, какие курсы про Python я смотрел, с удовольствием поделюсь мнением), а затем, снова вернуться с AI-агентам, но уже поиграться с доступными локальными моделями.

Всем счастливой недели!

#саморазвитие #ml

В больших AD-лесах админы часто «забывают» или ошибочно настраивают списки контроля доступа (ACL), не желая заморачиваться с чётким разделением и выдачей прав. В таких списках могут оставаться широкие разрешения для Everyone/Authenticated Users/Domain Computers, причём с расширенными правами на чувствительные объекты.

Это не мелочь: именно список DACL в nTSecurityDescriptor определяет, кто и что может делать с объектом. Но есть проблема: такие списки прав указаны для каждого отдельного субъекта (нет одной таблички), GUID’ы прав нечитабельны, а определения дескрипторов безопасности (SDDL) тяжело смотреть глазами.

Наш эксперт Александр Родченко написал утилиту ParseJsonWithSDDLs для решения этой проблемы. Основная идея: показать, какими правами обладают «все», то есть достаточно большой и потенциально неограниченный круг субъектов (анонимы, аутентифицированные пользователи, все ПК и т.д). Другими словами, утилита отвечает на вопрос: «Есть ли у нас в домене какие-то объекты, с которыми может сделать что-то любой пользователь?»

Функционал, реализованный в программе:

— парсит SDDL из nTSecurityDescriptor, вычленяет «широкие» ACE и показывает их в удобном виде (читаемые имена субъектов и объектов, декодированные GUID расширенных прав);
— умеет сама выгрузить весь лес и трасты в JSON (LDAP paging + SecurityDescriptorFlagControl для DACL), если у вас нет готовых экспортов ваших доменов; в некотором роде это работа SharpHound с опцией "вместе с DACL", но в данном случае автор сам реализовал это в коде;
— даёт HTML-сводку и при желании CSV для дальнейшей аналитики/хантинга.

Что даёт использование утилиты?

Это закрывает типовой класс конфиг-дефектов, про которые Microsoft годами пишет в своих рекомендациях по безопасности AD. Прогоны такой утилитой часто приносят «бесплатные» находки перед аудитами и пентестами. Примеры находок приведены на скриншотах выше:

(1) объект, который может изменить любой ПК — и никто не не знает, для чего это нужно; у клиента это был объект, относящийся к системе корпоративной печати,
(2) очень странный объект групповой политики — это заявка на повышение привилегий в домене,
(3) очень неправильно настроенные разрешения создавать общие папки: на самом деле, дали возможность создать объект-корень FTRoot (новый namespace) и создать под ним любые FTDfs-объекты — ссылки (на любой сервер) и их Target-списки.

Утилиту можно скачать в репозитории автора на Гитхабе:
https://github.com/gam4er/DACLPlayground/tree/master

SANS SOC Survey 2025

Как-то мы пропустили, но в июле у SANS вышел их ежегодный обзор по SOC, из которого неплохо прослеживать чем сейчас болеет индустрия

В какой-то момент времени я приостановил чтение этих отчетов (разве что только в рамках подготовки к AM Live 😁), ибо из года в год SOC-и воюют с одними и теми же проблемами: перегрузкой алертами, текучкой персоанала, нехваткой кадров, реактивностью и слабой интеграцией новых технологий, причем, 2025 не исключение, поэтому в этой заметке я подсвечу на что сам обратил внимание.

- 79% SOC-ов работают круглосуточно. Вопрос, на который не нашел ответ: "Как оставшиеся защищают свои инфраструктуры в нерабочее время?", - видимо, выключают все на ночь.
- 42% используют AI/ML-инструменты "из коробки" без настройки. В целом, этим объясняется низкая удовлетворенность машобучем, которая прослеживается на протяжении всех лет упоминания ML/AI в этом отчете. Мне подумалось, что это тот самый случай, когда, если что-то используешь бездумно, то его широкое распространение, напротив, имеет негативные последствия.
- 73% организаций разрешают удалённую работу. Все-таки, это можно считать победой кибербезопасности, ибо в 2025-м году удаленный доступ действительно можно сделать безопасным, а именно проблему ИБ я считаю основной в вопросе удаленной работы, что касается эффективности - писал здесь.
- 72% аналитиков полагаются на опыт и интуицию, а не на структурированные методы анализа TI - это просто вишенка на торте, причем, я тоже могу это подтвердить! За время работы SOC вырабатывается определенное "чутье", интуиция, работающие несравненно лучше любого продвинутого генеративного ИИ.
- по технологиям: EDR/XDR — лидер по удовлетворённости (~ рынок дозрел), а AI/ML - на последних местах (~ еще зеленый), SIEM - критически важен, но нередко используется неэффективно (~ повышение сложности требует вызревания UX).
- растет использование облаков
- развивается вопрос карьерного роста аналитиков SOC как инструмента удержания

В целом, направления развития понятны:
- ML/AI/DL, чтобы наконец-то выжать эффективность
- развитие кадров\карьерный рост\мотивация\удержание, выше писал про особую интуицию - это очень важно и такой опыт очень долго и дорого получать, важно чтобы такие профессионалы не терялись

#MDR

npm debug and chalk packages compromised

Очередной эпичный supply chain через node.js

Разборы доступны здесь:
раз
два

История

а вот совсем недавно рассуждали 😢

#dev #vCISO #MDR

Картинка того, как выглядит в телеметрии MDR эмуляция обсуждаемой вчера эксплуатации

eventtype_str - название события
file_path, filecmdline - потомок
processfilepath, processcmdline - родитель
parentprocessfilepath, parentprocesscmdline - родитель родителя

Главный вектор атаки – выполнение вредоносного кода на этапе preinstall. Здесь стандартный мониторинг EPP/EDR (рабочих станций разработчиков и CI/CD-серверов) позволит обнаружить любой подозрительный по поведению процесс, инициированный из node_modules/.bin или напрямую из пакета NPM. В этом случае задача сводится к стандартной – контроль запусков подозрительных процессов с плохой или неопределенной репутацией.

На картинке запускали powershell.

Сухой остаток: supply chain звучит страшно, но стандартные инструменты мониторинга это прекрасно обнаруживают, ну а то, что мы всегда уязвимы, мы знали и ранее.

#MDR

Conferences

Хороший репозиторий

#саморазвитие

Потенциал злоумышленника

Один мой старый приятель, тоже безопасник, поинтересовался вопросом оценки потенциала атакующего - нет ли каких-то общеизвестных\широкопризнанных фреймворков на этот счет. Может, плохо искали, но мы ничего не нашли, а значит, это повод задуматься о вопросе. Поток своего сознания на этот счет я изложил в статье.

Следующим шагом, конечно же, надо пособирать все эти capabilities атакующего в эксельку-калькулятор и предложить свою CMM для атакующего (по аналогии с этой). Если для такого калькулятора найдется производственная необходимость, обязательно этим займусь и поделюсь!

Ну а пока:
- подписывайте какие еще capabilities атакующего, помимо перечисленных в статье, следует учесть в калькуляторе
- пишите ваше обоснование производственной необходимости подобного калькулятора и нужна ли нам CMM для атакующего - это добавит мотивации инвестировать время в разработку такого калькулятора (пока особого практического смысла я не придумал)

#vCISO

Безумный Max

Тут проскакивала новость, что в Github появился репозиторий безопасного мессенджера Maх, на момент этой публикации – удален. А в Интернете не утихают публикации о небезопасности Max и его чрезмерных способностях по контролю нарушению приватности пользователей, поэтому появление, как будто, свободно доступного и безопасного Max пришло очень во время. Вероятно, все еще сильна логика "если opensouce, то безопасно", ибо великое множество независимых экспертов может спокойно провести исследование кода на предмет отсутствия закладок ошибок. Особое умиление вызывает наличие в статье скриншота с VT, мол, вот и куча антивирусных движков проверили, ВПО нет. Давайте разбираться.

Я из тех, кто верит в эффективность подхода прозрачности, когда заинтересованная сторона может самостоятельно убедиться в отсутствии НДВ. Упрощенным вариантом подтверждения прозрачности является доступность исходного кода и, следовательно, возможность его независимого анализа, т.е. с этой точки зрения opensource, действительно, выглядит безопаснее (сценарий, когда исходный код используется и злоумышленниками для поиска векторов эксплуатации не будем сейчас рассматривать). Однако, известно немало историй, когда открытость кода не гарантирует безопасность и спустя много лет находились серьезные уязвимости: Heartbleed не замечали в коде около двух лет, Shellshock – около 25 лет, Log4Shell – обнаружили спустя 8 лет, Dirty cow – существовала в ядре Linux с 2007 и была обнаружена только в 2016,… и этот список можно продолжать.

Но в нашем случае ситуация еще хуже: в каком-то Git-репозитории выложили код, и здесь же утверждается, что он супер-безопасен. Лично для меня утверждение о безопасности в соцсети не является весомым, тем более, что я никогда не видел троянов, доступных для скачивания, где тут же утверждалось, что это ВПО со всеми вытекающими 😂. Скорее всего, в данном случае, не этот сценарий, однако я на считаю разумным скачивать что-то малоизвестное с Github и устанавливать (даже если сам собрал из исходников). Вопрос доверия в ИБ принципиален – нельзя обеспечить безопасность без доверия, а любое ПО из недоверенного источника нельзя считать безопасным. Вопрос доверия также является базой для ответственности: если я качаю ПО и ставлю его себе на телефон, я хочу, чтобы оно работало, и чтобы за его работу кто-то нес ответственность. Поэтому важно ставить ПО не только из доверенных источников, но и от надежных производителей, которые способны нести ответственность за свой продукт.

С учетом всего написанного, я не вижу аргументов в пользу использования "появившегося вчера безопасного WhiteMax с Github" вместо "Max от VK из официального магазина приложений".

#РФ

12 сентября

Евгений Валентинович буквально снял с языка!

Для меня Pink Floyd тоже воспоминания о школе, именно там я более-менее регулярно играл Wish you were here, и вот уже несколько десятков лет, как эта вещь у меня не в активе, и на периодических посиделках с гитарой я ее не играю, как и многие десятки замечательных вещей, ушедших в историю моего беззаботного детства!

Но сегодня - это знак, знак оглянуться назад, вспомнить прошлое и оживить эту замечательную композицию: вот она, записанная только что, прямо за столом перед компом на мобильный телефон. Годы стерли умение ее играть и петь, но не изменили моего отношения к ней - на любой радиостанции, когда бы я ее не услышал, я несказанно рад, а губы неосознанно повторяют:

How I wish, how I wish you were here
We're just two lost souls
Swimming in a fish bowl
Year after year
Running over the same old ground
What have we found?
The same old fears
Wish you were here

Но 12.09 для меня не простой день еще потому, что это день рождения моей замечательной супруги.
В этот особенный день мне хочется пожелать нам всем любви, выдерживающей испытания временем, любви что становится только глубже и ценнее с каждым годом, подобно великой вещи "Wish You Were Here", которую вот уже 50 лет миллионы людей по всему миру слушают с любовью и нежностью к тем\тому, кого\чего нет рядом.

Wish you were here можно отнести и к нашему прошлому, которе не вернуть, и нам жаль, что оно не с нами, а наше "сейчас" - это не "тогда", жаль что обремененные настоящими знаниями мы тогда что-то не ценили... - это ощущение характерно для любого прошлого, а наше настоящее стремительно превращается в прошлое, поэтому давайте ценить все, что с нами происходит, чтобы не жалеть о прошлом, а в будущее смотреть с оптимизмом!

#музыка

Когда AIOps становится AIУпс

Как только новая технология обретает популярность, сразу появляются техники атак на нее. Поэтому большое количество уязвимостей не всегда означает, что ПО дырявое (ну разве что толко Adobe - исключение), но точно, что оно - популярное. Автономные SOC-и набирают популярность, вот и атак на AI-агентов все больше придумывают. В этой связи рекомендую ознакомиться с исследованием моего друга и коллеги Мохамеда Гобаши из команды GERT о вредоносных MCP-серверах, а я расскажу, в общем-то об инъекциях, но на современный лад.

Статья "When AIOps Become "AI OOPS" (прямая ссылка на pdf, статья в The Register) представляет первое в своём роде исследование безопасности систем AIOps (~ агентских систем), которые используют большие языковые модели для автоматизации обнаружения и расследования инцидентов, и реагирования на них.

Авторы показывают, что злоумышленники могут манипулировать событиями телеметрии, чтобы "обмануть" AI-агента и заставить его выполнить вредоносные действия по "исправлению" проблемы.
В статье авторы предложили методологию и инструмент "AIOpsDoom" для проведения атаки на агентскую систему, которая может обмануть AI-агента, заставив его выполнить вредоносное действие, подставив в телеметрию ложные артефакты.
Кроме того, здесь же авторы предложили и защиту - "AIOpsShield", которая санитизирует подставленные системой, аналогичной AIOpsDoom, вредоносные данные.
В общем, ребята разобрали агентские системы в хвост и в гриву, причем, и в AIOpsDoom, и в AIOpsShield также используются LLM, хотя и не в качестве основного компонента.

Исследование лишний раз подтверждает, что ML/DL/LLM - это такой же инструмент, как, например, любой язык программирования, который может использоваться и для автоматизации (AI-агенты), и для автоматизации атак на автоматизацию (AIOpsDoom), и для автоматизированного обеспечения безопасности (AIOpsShield), и если ранее мы работали с Host IDS и Network IDS, то вот они уже и AI IDS.

#ml

Продвинутая криптография

В апреле пролетала интересная статья (PDF), но только сейчас добрался о ней рассказать.

Итак, что же NCSC считает "продвинутой криптографией":
- Гомоморфное шифрование (Homomorphic encryption) - вычисления непосредственно над зашифрованными данными
- Конфиденциальный поиск (Private information retrieval) - запрос к базе данных без раскрытия самого запроса владельцу базы
- Многосторонние вычисления (Multiparty computation) - совместное вычисление результата без раскрытия входных данных друг другу
- Доказательства с нулевым разглашением (Zero-knowledge proofs) - доказательство обладания секретом без его раскрытия
- Приватное пересечение множеств (Private set intersection) - определение общих элементов множеств данных без раскрытия множеств.
- Шифрование на базе атрибутов (Attribute-based encryption) - расшифрование возможна только для тех, кто обладает определённым набором атрибутов.

В статье также дается мой любимый тезис, что любая технология - это способ решения задачи, но задача - первична, т.е. сначала надо поставить задчу\проблему, а потом уже искать решение, которое может быть, в том числе, в виде нашей любимой технологии. Поэтому, не надо стремиться использовать "продвинутые" методы, ибо в большинстве случаев можно обойтись типовыми. Тезис применим к любой автоматизации.

Общий вывод: сначала "традиционная" криптография. Она стандартизирована, хорошо изучена, высокопроизводительна, часто имеет аппаратное ускорение, в общем, зрелая. Advanced Cryptography - это возможное решение для специфических сценариев, где традиционные методы неприменимы, например, из-за сложных моделей доверия, однако эти технологии незрелы, ресурсоемки и несут дополнительные риски, поэтому их внедрение требует тщательной оценки рисков и внимательности\аккуратности при внедрении.

А вообще, за публикациями NCSC полезно следить, как и за публикациями NSA.

#crypto #vCISO

Телеграмм-бот Гигачата сегодня написал.

В целом, на собесах частенько наблюдаю попытки соискателей использовать LLM для ответов на вопросы. Что можно с этим поделать?

1. Общаться с видео. Это принципиально важно, поскольку невербалика, поведение расскажут о человеке еще больше, чем он сам о себе.

2. Вопросы надо задавать на понимание а не на знание. В целом, можно спросить вопрос на знание и попросить объяснить почему так. Лучше задавать вопросы для ответа на который требуется опыт, а в процессе ответа переключиться на обсуждение именно личного опыта (мне не попадался никто, кому удалось бы правдоподобно рассказывать о несуществующем опыте)

3. Перед началом обсуждения предметных вопросов можно поговорить "за жизнь", чтобы уловить манеру общения отвечающего, поскольку стилистический разрыв просто определяется и никогда не является ошибочным. В целом, опытные, думаю, уже могут безошибочно узнавать стиль популярных GPT.

4. Собеседование должно представлять собой общение, интерактивный диалог, а не вопрос-ответ с заметными паузами между вопросом и ответом. Т.е. мы задаем вопрос, соискатель начинает отвечать, мы - подхватываем, возможно, немного уходим в сторону, соискатель - продолжает и т.д. - живое общение, оно должно выглядеть естественно.

5. Уточняйте детали. Можно начать широко и в процессе живого общения углубиться в детали и попросить их объяснить.

6. Я люблю общаться по CV, особенно, если сам неплохо ориентируюсь в заявленном опыте, - это позволяет сравнить и обсудить мой опыт с опытом потенциального коллеги.

Подводя итог, попробую обобщить: надо сосредоточиться на оценке мышления, опыта, способности\умении решать проблемы поставленные в моменте, agilability, если угодно, а не на фактологических знаниях.

А что вы порекомендуете? Делитесь своим опытом в комментариях, это всегда очень интересно.

#пятница #управление #саморазвитие

Promptware: в полку warezz прибавление

Совсем недавно мы рассуждали об атаках на агентские системы и вот снова, почти, о том же.

Исследование (прямая ссылка на PDF) показывает, что promptware - специально сконструированные вредоносные промты - представляет серьёзную угрозу для пользователей LLM-ассистентов (на примере Gemini от Google). Атаки используют непрямые инъекции промтов через письма, календарные приглашения и общие документы, что позволяет злоумышленникам нарушать конфиденциальность, целостность и доступность систем. Приведены примеры запуска атак через приглашения в календаре или письма с вредоносным промтом в заголовке, а для активации требуется минимальное взаимодействие с пользователем, например, невинный запрос "Какие у меня встречи?", т.е. практически Zero touch. Также авторы показали, что promtware позволяет осуществлять горизонтальные перемещение в скомпрометированной системе, выходя за пределы LLM-приложения.

Авторы продемонстрировали 14 сценариев атак против трёх версий Gemini (веб, мобильная, Google Assistant), которые классифицировали по пяти типам угроз:
- Кратковременное отравление контекста (Short-term Context Poisoning)
- Постоянное отравление памяти (Permanent Memory Poisoning)
- Неправильное использование инструментов (Tool Misuse)
- Автоматический вызов агентов (Automatic Agent Invocation)
- Автоматический вызов приложений (Automatic App Invocation)
в результате которых удалось реализовать спам, фишинг, утечку данных, видеозапись пользователя, управление умным домом (открытие окон, включение котла), в общем, все что угодно. По мнению авторов 73% угроз оцениваются как высококритические.

В статье также предложен фреймворк TARA (Threat Analysis and Risk Assessment) на основе стандарта ISO/SAE 21434 и предложена оценка рисков по классике - на основе вероятности сценария атаки и влияния\ущерба от него.

Среди методов противодействия упоминаются:
- Изоляция контекста между агентами
- Валидация ввода/вывода
- A/B-тестирование
- Подтверждение действий пользователем
- Обнаружение подозрительных артефактов (URL)
однако, как мы знаем, митигационные меры не избавляют от риска, но снижают его уровень до низкого или среднего.

Ну что можно сказать?!
1. Promptware — практичная и опасная угроза, требующая срочного внимания, возможно, это новая область для систем обнаружения: мы научились находить SQL-инъкции, пора повышать уровень
2. Пока не видно вала публикаций на эту тему, как будто, индустрия пока не дооцениват риск атак на LLM-системы, а вендоры ИБ пока не осознали перспективность этого рынка
3. Если смотреть предлагаемые меры защиты, то можно обнаружить сходство с классикой: валидация пользовательского ввода, сегментация\изоляция, минимум полномочий и т.п. Соответственно, все эти меры надо сразу интегрировать в приложения, ибо навесная безопасность работает плохо, а это открывает новое важной и перспективное направление - безопасная архитектура LLM-систем, похожие эксперты упоминались здесь .

#ml #vCISO

Машинное обучение в обнаружении

Есть масса применений машобуча в ИБ и нередко на маркетинговых мероприятиях можно услышать об успехах применения машинного обучения без учителя для обнаружения: есть некоторый движок, выполняющий профилирование, который затем выдает статистические отклонения. Проблема тут в том, что "статистическое отклонение" - это не всегда "инцидент", и окончательное решение принимает человек. Понятие инцидента - не простое, поэтому построить классификатор, который будет выдавать не статистическое отклонение, а инцидент невозможно без анализа обратной связи от пользователя (варианты решения этой задачи с помощью LLM пока не будем рассматривать, но и там проблем немало, ибо закономерность сохраняется: чем сложнее система, тем сложнее ей пользоваться). А это уже вопрос, решаемый в рамках машинного обучения с учителем, однако, в этом случае, для получения удовлетворительных результатов, нам нужны размеченные данные, типа, вот это статистическое отклонение - инцидент, а вот это статистическое отклонение - не инцидент. Кроме того, на практике нередки и false negative (пропуски), т.е. Модель надо подкрутить так, чтобы в сценариях прошлых промахов она, таки, выдавала статистическое отклонение, которое будет интерпретировано пользователем как инцидент. Чем размеченных данных будет больше, тем лучше, а если данных будем мало, построение такого классификатора под большим вопросом.

Таким образом, налицо двухходовочка:
- Unsupervised ML поможет найти статистическое отклонение - здесь будет много False positives, но практика показывает, что будут и False negative (собственно, этот объем False* и является основным аргументов скептиков относительно пригодности ML в ИБ вообще, сравнивающих ML-вердикты с выдачей ГПСЧ)
- Supervised ML теоретически можно обучить распознавать среди статистических отклонений инциденты, но в этом случае нужны большие размеченные данные, как например, в случае Автоаналитика

В нашем случае упомянутая двухходовочка для обнаружения горизонтальных перемещений в сети реализована одной Моделью без учителя. Но для поддержания удовлетворительного качества работы, все ее False* разбираются с участием аналитиков команды SOC, после чего Модель дорабатывается: начинает ловить прошлые пропуски и не генерить статистическое отклонение в определенных сценариях, не являющихся инцидентом.

Итого, нам всем нужно понимать:
1. Статистическое отклонение, выдаваемое Моделью без учителя - это еще не Инцидент
2. Для того, чтобы Модель научилась выдавать не статистические отклонения, а инциденты, обязательна обратная связь от пользователя, разметка данных пользователями
3. Чтобы обучить Модель на размеченных данных, их должно быть много
4. Нужно заниматься постоянным тюнингом Модели без учителя, выдающей статистические отклонения, чтобы она выдавала бизнес-значимые статистические отклонения, т.е. инциденты
5. В "коробочных" on prem решениях есть проблемы с получением обратной связи от пользователя и ее анализом, чтобы подстраивать и переобучать Модель, т.е. пп. 2-4 нереализуемы

В итоге получаем, что более-менее рабочим сценарием является портирование обученных моделей из облачных сервисов в on prem решения. Как, в частности, мы и сделаем с моделью обнаружения горизонтальных перемещений, которая из MDR когда-то станет доступна в KUMA. В этом случае постоянство качества Модели будет обеспечиваться ее постоянным тюнингом в рамках сервиса в предположении, что в пользовательской инфраструктуре демонстрируемые ею статистические отклонения будут интерпретировать как инциденты по тем же правилам, что и в MDR. Это очередная прекрасная демонстрация как правильно выкристаллизовывать облака в on prem, а никак не наоборот!

#MDR #vCISO #ml

Одним из элементов интерьера кофейни с лучшим кофе в Кисловодске "Мастерская кофе" являются лыжи.

Поначалу мне это казалось нелепостью, поскольку в Кисловодске снег обычно не лежит более одного дня, редкой зимой бывает до недели, но его глубины точно недостаточно для лыжных пробежек. Однако, по крайней мере в нашем доме, практически в каждой семье есть санки и снегокаты....

Однажды, после утренней пробежки, выполняя свой стандартный ритуал Большого Американо в Мастерской кофе в районе Центрального рынка, мне открылась вся глубина лыж и снегокатов в Кисловодске. Это - олицетворение очень трудно досягаемой цели, мечты, надежды, которая, несмотря на всю свою призрачность никогда не умирает и на протяжении всей нашей жизни продолжает согревать и мотивировать не сдаваться, не отпускать руки, ждать, надеяться и верить!

#пятница #здоровье