📸 Безопасность агентов от OWASP
#иб_для_ml


Прошедшие пару недель выдались жаркими на анонсы OWASP по AI Security. Организация представила сразу три документа, которые стоит прочитать всем, кто так или иначе работает с GenAI-моделями и AI-агентами: «Securing Agentic Apps Guide», «GenAI Incident Response Guide» и «State of Agentic AI Security and Governance». Эти работы можно назвать исчерпывающим собранием знаний о практической безопасности AI-агентов и просто GenAI на сегодня.

👤 Начну с личных впечатлений. Данные документы однозначно позволят человеку без подготовки в AI Security погрузиться в тему безопасности AI-агентов. Но при этом потребуются знания по классической кибербезопасности и/или искусственному интеллекту. Рассмотрено много сателлитных тем, напрямую не относящихся к теме того или иного дока - это одновременно и плюс, и минус. Раскрытие информации постепенное, то есть про те же рантайм проверки в IR Guide расписано сначала в общих чертах, спустя 5-10 страниц подробнее, и потом через еще сколько-то - еще подробнее.
Итого - к ознакомлению рекомендую, но в идеале хотелось бы увидеть то же самое от авторов, только не по 80+ страниц каждый док, а хотя бы по 30.

Теперь фактура

⏺ В «Securing Agentic Apps Guide» собран перечень актуальных фреймворков для тестирования агентов — от знакомого нам AgentDojo до более свежих AgentFence, ASB, MAPS и AgentPoison. OWASP систематизировала меры безопасности по всем этапам жизненного цикла: проектирование, развертывание, эксплуатация. Для рантайма советуют искать аномалии в тексте промптов, частоте и параметрах вызова тулов, снижать объём памяти агента как ответ на инциденты (это мне прям понравилось, новая мысль), задавать срок жизни чувствительных данных (тоже новенькое), ограничивать размер контекстного окна, стирать память при смене темы и вообще никогда не допускать попадания в промпт секретов из списка на 12 пунктов.
Доступ к инструментам рекомендуется делать по Just-In-Time модели с ephemeral credentials, хотя механика триггеров включения/отключения пока не прописана.

🔃 «GenAI Incident Response Guide» — руководство по реагированию на инциденты в GenAI, полезное, прежде всего, организациям с молодой кибербезопасностью (где SOC и DevSecOps только строятся). Приведены меры сдерживания (пометки на аномальных сессиях, canary-prompts для защиты системного промпта, троттлинг подключений к модели), но они куда менее интересные, имхо, чем в Securing Apps.
Перечислили IoC для GenAI-инцидентов: всевозможные аномалии потоков входа/выхода GenAI-моделей, наличие PII в ответах, хэши популярных атакующих запросов.
Далее авторы пустились в полет фантазии: и методика оценки рисков, и примеры для дашбордов SOC для AI, и еще куча всего. Описана модель зрелости SOC для AI с необходимыми шагами для "эволюции".
Полезной могу отметить матрицу расчёта критичности AI-инцидентов по пяти направлениям, по которой можно определять скорость реагирования на инцидент, состав команды и масштаб пост-инцидентных мер.
Но что меня расстроило, так это как раз таки полное отсутствие специфики AI-агентов. Недоработали OWASP тут.

⚙ В «State of Agentic AI Security and Governance» OWASP рассматривается рынок фреймворков и механизмов защиты. Дан обзор безопасности open-source решений вроде dify, autogen, crewai у многих есть гардрейлы, а в Letta, OpenAI Agents SDK, Google ADK и т.д.. Проприетарные платформы тоже не обошли вниманием: AWS Bedrock Agents фильтрует контент и ограничивает действия агентов, SF Agentforce блокирует оффтоп и галлюцинации и маскирует доменные данные, Azure AI Foundry предоставляет дашборды рисков, инструменты для AI Red Teaming и DLP, IBM Watsonx Orchestrate — детектор неэтичности, управление ЖЦ агента и интеграция с Splunk/QRadar, Google Vertex AI Agent Builder — фильтры, агентный IAM и анализ reasoning-логов. Упомянуты и протоколы агентов, но анализ на безопасность меня не впечатлил. Завершают документ прогнозы по развитию compliance-практик, но они для России полностью нерелвантны, к сожалению.