12 сентября

Евгений Валентинович буквально снял с языка!

Для меня Pink Floyd тоже воспоминания о школе, именно там я более-менее регулярно играл Wish you were here, и вот уже несколько десятков лет, как эта вещь у меня не в активе, и на периодических посиделках с гитарой я ее не играю, как и многие десятки замечательных вещей, ушедших в историю моего беззаботного детства!

Но сегодня - это знак, знак оглянуться назад, вспомнить прошлое и оживить эту замечательную композицию: вот она, записанная только что, прямо за столом перед компом на мобильный телефон. Годы стерли умение ее играть и петь, но не изменили моего отношения к ней - на любой радиостанции, когда бы я ее не услышал, я несказанно рад, а губы неосознанно повторяют:

How I wish, how I wish you were here
We're just two lost souls
Swimming in a fish bowl
Year after year
Running over the same old ground
What have we found?
The same old fears
Wish you were here

Но 12.09 для меня не простой день еще потому, что это день рождения моей замечательной супруги.
В этот особенный день мне хочется пожелать нам всем любви, выдерживающей испытания временем, любви что становится только глубже и ценнее с каждым годом, подобно великой вещи "Wish You Were Here", которую вот уже 50 лет миллионы людей по всему миру слушают с любовью и нежностью к тем\тому, кого\чего нет рядом.

Wish you were here можно отнести и к нашему прошлому, которе не вернуть, и нам жаль, что оно не с нами, а наше "сейчас" - это не "тогда", жаль что обремененные настоящими знаниями мы тогда что-то не ценили... - это ощущение характерно для любого прошлого, а наше настоящее стремительно превращается в прошлое, поэтому давайте ценить все, что с нами происходит, чтобы не жалеть о прошлом, а в будущее смотреть с оптимизмом!

#музыка

Когда AIOps становится AIУпс

Как только новая технология обретает популярность, сразу появляются техники атак на нее. Поэтому большое количество уязвимостей не всегда означает, что ПО дырявое (ну разве что толко Adobe - исключение), но точно, что оно - популярное. Автономные SOC-и набирают популярность, вот и атак на AI-агентов все больше придумывают. В этой связи рекомендую ознакомиться с исследованием моего друга и коллеги Мохамеда Гобаши из команды GERT о вредоносных MCP-серверах, а я расскажу, в общем-то об инъекциях, но на современный лад.

Статья "When AIOps Become "AI OOPS" (прямая ссылка на pdf, статья в The Register) представляет первое в своём роде исследование безопасности систем AIOps (~ агентских систем), которые используют большие языковые модели для автоматизации обнаружения и расследования инцидентов, и реагирования на них.

Авторы показывают, что злоумышленники могут манипулировать событиями телеметрии, чтобы "обмануть" AI-агента и заставить его выполнить вредоносные действия по "исправлению" проблемы.
В статье авторы предложили методологию и инструмент "AIOpsDoom" для проведения атаки на агентскую систему, которая может обмануть AI-агента, заставив его выполнить вредоносное действие, подставив в телеметрию ложные артефакты.
Кроме того, здесь же авторы предложили и защиту - "AIOpsShield", которая санитизирует подставленные системой, аналогичной AIOpsDoom, вредоносные данные.
В общем, ребята разобрали агентские системы в хвост и в гриву, причем, и в AIOpsDoom, и в AIOpsShield также используются LLM, хотя и не в качестве основного компонента.

Исследование лишний раз подтверждает, что ML/DL/LLM - это такой же инструмент, как, например, любой язык программирования, который может использоваться и для автоматизации (AI-агенты), и для автоматизации атак на автоматизацию (AIOpsDoom), и для автоматизированного обеспечения безопасности (AIOpsShield), и если ранее мы работали с Host IDS и Network IDS, то вот они уже и AI IDS.

#ml

Продвинутая криптография

В апреле пролетала интересная статья (PDF), но только сейчас добрался о ней рассказать.

Итак, что же NCSC считает "продвинутой криптографией":
- Гомоморфное шифрование (Homomorphic encryption) - вычисления непосредственно над зашифрованными данными
- Конфиденциальный поиск (Private information retrieval) - запрос к базе данных без раскрытия самого запроса владельцу базы
- Многосторонние вычисления (Multiparty computation) - совместное вычисление результата без раскрытия входных данных друг другу
- Доказательства с нулевым разглашением (Zero-knowledge proofs) - доказательство обладания секретом без его раскрытия
- Приватное пересечение множеств (Private set intersection) - определение общих элементов множеств данных без раскрытия множеств.
- Шифрование на базе атрибутов (Attribute-based encryption) - расшифрование возможна только для тех, кто обладает определённым набором атрибутов.

В статье также дается мой любимый тезис, что любая технология - это способ решения задачи, но задача - первична, т.е. сначала надо поставить задчу\проблему, а потом уже искать решение, которое может быть, в том числе, в виде нашей любимой технологии. Поэтому, не надо стремиться использовать "продвинутые" методы, ибо в большинстве случаев можно обойтись типовыми. Тезис применим к любой автоматизации.

Общий вывод: сначала "традиционная" криптография. Она стандартизирована, хорошо изучена, высокопроизводительна, часто имеет аппаратное ускорение, в общем, зрелая. Advanced Cryptography - это возможное решение для специфических сценариев, где традиционные методы неприменимы, например, из-за сложных моделей доверия, однако эти технологии незрелы, ресурсоемки и несут дополнительные риски, поэтому их внедрение требует тщательной оценки рисков и внимательности\аккуратности при внедрении.

А вообще, за публикациями NCSC полезно следить, как и за публикациями NSA.

#crypto #vCISO

Телеграмм-бот Гигачата сегодня написал.

В целом, на собесах частенько наблюдаю попытки соискателей использовать LLM для ответов на вопросы. Что можно с этим поделать?

1. Общаться с видео. Это принципиально важно, поскольку невербалика, поведение расскажут о человеке еще больше, чем он сам о себе.

2. Вопросы надо задавать на понимание а не на знание. В целом, можно спросить вопрос на знание и попросить объяснить почему так. Лучше задавать вопросы для ответа на который требуется опыт, а в процессе ответа переключиться на обсуждение именно личного опыта (мне не попадался никто, кому удалось бы правдоподобно рассказывать о несуществующем опыте)

3. Перед началом обсуждения предметных вопросов можно поговорить "за жизнь", чтобы уловить манеру общения отвечающего, поскольку стилистический разрыв просто определяется и никогда не является ошибочным. В целом, опытные, думаю, уже могут безошибочно узнавать стиль популярных GPT.

4. Собеседование должно представлять собой общение, интерактивный диалог, а не вопрос-ответ с заметными паузами между вопросом и ответом. Т.е. мы задаем вопрос, соискатель начинает отвечать, мы - подхватываем, возможно, немного уходим в сторону, соискатель - продолжает и т.д. - живое общение, оно должно выглядеть естественно.

5. Уточняйте детали. Можно начать широко и в процессе живого общения углубиться в детали и попросить их объяснить.

6. Я люблю общаться по CV, особенно, если сам неплохо ориентируюсь в заявленном опыте, - это позволяет сравнить и обсудить мой опыт с опытом потенциального коллеги.

Подводя итог, попробую обобщить: надо сосредоточиться на оценке мышления, опыта, способности\умении решать проблемы поставленные в моменте, agilability, если угодно, а не на фактологических знаниях.

А что вы порекомендуете? Делитесь своим опытом в комментариях, это всегда очень интересно.

#пятница #управление #саморазвитие

Promptware: в полку warezz прибавление

Совсем недавно мы рассуждали об атаках на агентские системы и вот снова, почти, о том же.

Исследование (прямая ссылка на PDF) показывает, что promptware - специально сконструированные вредоносные промты - представляет серьёзную угрозу для пользователей LLM-ассистентов (на примере Gemini от Google). Атаки используют непрямые инъекции промтов через письма, календарные приглашения и общие документы, что позволяет злоумышленникам нарушать конфиденциальность, целостность и доступность систем. Приведены примеры запуска атак через приглашения в календаре или письма с вредоносным промтом в заголовке, а для активации требуется минимальное взаимодействие с пользователем, например, невинный запрос "Какие у меня встречи?", т.е. практически Zero touch. Также авторы показали, что promtware позволяет осуществлять горизонтальные перемещение в скомпрометированной системе, выходя за пределы LLM-приложения.

Авторы продемонстрировали 14 сценариев атак против трёх версий Gemini (веб, мобильная, Google Assistant), которые классифицировали по пяти типам угроз:
- Кратковременное отравление контекста (Short-term Context Poisoning)
- Постоянное отравление памяти (Permanent Memory Poisoning)
- Неправильное использование инструментов (Tool Misuse)
- Автоматический вызов агентов (Automatic Agent Invocation)
- Автоматический вызов приложений (Automatic App Invocation)
в результате которых удалось реализовать спам, фишинг, утечку данных, видеозапись пользователя, управление умным домом (открытие окон, включение котла), в общем, все что угодно. По мнению авторов 73% угроз оцениваются как высококритические.

В статье также предложен фреймворк TARA (Threat Analysis and Risk Assessment) на основе стандарта ISO/SAE 21434 и предложена оценка рисков по классике - на основе вероятности сценария атаки и влияния\ущерба от него.

Среди методов противодействия упоминаются:
- Изоляция контекста между агентами
- Валидация ввода/вывода
- A/B-тестирование
- Подтверждение действий пользователем
- Обнаружение подозрительных артефактов (URL)
однако, как мы знаем, митигационные меры не избавляют от риска, но снижают его уровень до низкого или среднего.

Ну что можно сказать?!
1. Promptware — практичная и опасная угроза, требующая срочного внимания, возможно, это новая область для систем обнаружения: мы научились находить SQL-инъкции, пора повышать уровень
2. Пока не видно вала публикаций на эту тему, как будто, индустрия пока не дооцениват риск атак на LLM-системы, а вендоры ИБ пока не осознали перспективность этого рынка
3. Если смотреть предлагаемые меры защиты, то можно обнаружить сходство с классикой: валидация пользовательского ввода, сегментация\изоляция, минимум полномочий и т.п. Соответственно, все эти меры надо сразу интегрировать в приложения, ибо навесная безопасность работает плохо, а это открывает новое важной и перспективное направление - безопасная архитектура LLM-систем, похожие эксперты упоминались здесь .

#ml #vCISO

Машинное обучение в обнаружении

Есть масса применений машобуча в ИБ и нередко на маркетинговых мероприятиях можно услышать об успехах применения машинного обучения без учителя для обнаружения: есть некоторый движок, выполняющий профилирование, который затем выдает статистические отклонения. Проблема тут в том, что "статистическое отклонение" - это не всегда "инцидент", и окончательное решение принимает человек. Понятие инцидента - не простое, поэтому построить классификатор, который будет выдавать не статистическое отклонение, а инцидент невозможно без анализа обратной связи от пользователя (варианты решения этой задачи с помощью LLM пока не будем рассматривать, но и там проблем немало, ибо закономерность сохраняется: чем сложнее система, тем сложнее ей пользоваться). А это уже вопрос, решаемый в рамках машинного обучения с учителем, однако, в этом случае, для получения удовлетворительных результатов, нам нужны размеченные данные, типа, вот это статистическое отклонение - инцидент, а вот это статистическое отклонение - не инцидент. Кроме того, на практике нередки и false negative (пропуски), т.е. Модель надо подкрутить так, чтобы в сценариях прошлых промахов она, таки, выдавала статистическое отклонение, которое будет интерпретировано пользователем как инцидент. Чем размеченных данных будет больше, тем лучше, а если данных будем мало, построение такого классификатора под большим вопросом.

Таким образом, налицо двухходовочка:
- Unsupervised ML поможет найти статистическое отклонение - здесь будет много False positives, но практика показывает, что будут и False negative (собственно, этот объем False* и является основным аргументов скептиков относительно пригодности ML в ИБ вообще, сравнивающих ML-вердикты с выдачей ГПСЧ)
- Supervised ML теоретически можно обучить распознавать среди статистических отклонений инциденты, но в этом случае нужны большие размеченные данные, как например, в случае Автоаналитика

В нашем случае упомянутая двухходовочка для обнаружения горизонтальных перемещений в сети реализована одной Моделью без учителя. Но для поддержания удовлетворительного качества работы, все ее False* разбираются с участием аналитиков команды SOC, после чего Модель дорабатывается: начинает ловить прошлые пропуски и не генерить статистическое отклонение в определенных сценариях, не являющихся инцидентом.

Итого, нам всем нужно понимать:
1. Статистическое отклонение, выдаваемое Моделью без учителя - это еще не Инцидент
2. Для того, чтобы Модель научилась выдавать не статистические отклонения, а инциденты, обязательна обратная связь от пользователя, разметка данных пользователями
3. Чтобы обучить Модель на размеченных данных, их должно быть много
4. Нужно заниматься постоянным тюнингом Модели без учителя, выдающей статистические отклонения, чтобы она выдавала бизнес-значимые статистические отклонения, т.е. инциденты
5. В "коробочных" on prem решениях есть проблемы с получением обратной связи от пользователя и ее анализом, чтобы подстраивать и переобучать Модель, т.е. пп. 2-4 нереализуемы

В итоге получаем, что более-менее рабочим сценарием является портирование обученных моделей из облачных сервисов в on prem решения. Как, в частности, мы и сделаем с моделью обнаружения горизонтальных перемещений, которая из MDR когда-то станет доступна в KUMA. В этом случае постоянство качества Модели будет обеспечиваться ее постоянным тюнингом в рамках сервиса в предположении, что в пользовательской инфраструктуре демонстрируемые ею статистические отклонения будут интерпретировать как инциденты по тем же правилам, что и в MDR. Это очередная прекрасная демонстрация как правильно выкристаллизовывать облака в on prem, а никак не наоборот!

#MDR #vCISO #ml

Одним из элементов интерьера кофейни с лучшим кофе в Кисловодске "Мастерская кофе" являются лыжи.

Поначалу мне это казалось нелепостью, поскольку в Кисловодске снег обычно не лежит более одного дня, редкой зимой бывает до недели, но его глубины точно недостаточно для лыжных пробежек. Однако, по крайней мере в нашем доме, практически в каждой семье есть санки и снегокаты....

Однажды, после утренней пробежки, выполняя свой стандартный ритуал Большого Американо в Мастерской кофе в районе Центрального рынка, мне открылась вся глубина лыж и снегокатов в Кисловодске. Это - олицетворение очень трудно досягаемой цели, мечты, надежды, которая, несмотря на всю свою призрачность никогда не умирает и на протяжении всей нашей жизни продолжает согревать и мотивировать не сдаваться, не отпускать руки, ждать, надеяться и верить!

#пятница #здоровье

AI Agents vs. Prompt Injections

Мой приятель и замечательный человек Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения (Центр исследования технологий искусственного интеллекта), человек, который внимательнейшим образом выслушивает все мои бредовые идеи по автоматизации нашей работы с использованием машобуча, с которым у нас длиннющий бэклог и громадье совместных планов, [... и много чего... еще] дает вебинар, подробности в канале у Влада.

#ml