📸 Безопасность агентов от OWASP
#иб_для_ml


Прошедшие пару недель выдались жаркими на анонсы OWASP по AI Security. Организация представила сразу три документа, которые стоит прочитать всем, кто так или иначе работает с GenAI-моделями и AI-агентами: «Securing Agentic Apps Guide», «GenAI Incident Response Guide» и «State of Agentic AI Security and Governance». Эти работы можно назвать исчерпывающим собранием знаний о практической безопасности AI-агентов и просто GenAI на сегодня.

👤 Начну с личных впечатлений. Данные документы однозначно позволят человеку без подготовки в AI Security погрузиться в тему безопасности AI-агентов. Но при этом потребуются знания по классической кибербезопасности и/или искусственному интеллекту. Рассмотрено много сателлитных тем, напрямую не относящихся к теме того или иного дока - это одновременно и плюс, и минус. Раскрытие информации постепенное, то есть про те же рантайм проверки в IR Guide расписано сначала в общих чертах, спустя 5-10 страниц подробнее, и потом через еще сколько-то - еще подробнее.
Итого - к ознакомлению рекомендую, но в идеале хотелось бы увидеть то же самое от авторов, только не по 80+ страниц каждый док, а хотя бы по 30.

Теперь фактура

⏺ В «Securing Agentic Apps Guide» собран перечень актуальных фреймворков для тестирования агентов — от знакомого нам AgentDojo до более свежих AgentFence, ASB, MAPS и AgentPoison. OWASP систематизировала меры безопасности по всем этапам жизненного цикла: проектирование, развертывание, эксплуатация. Для рантайма советуют искать аномалии в тексте промптов, частоте и параметрах вызова тулов, снижать объём памяти агента как ответ на инциденты (это мне прям понравилось, новая мысль), задавать срок жизни чувствительных данных (тоже новенькое), ограничивать размер контекстного окна, стирать память при смене темы и вообще никогда не допускать попадания в промпт секретов из списка на 12 пунктов.
Доступ к инструментам рекомендуется делать по Just-In-Time модели с ephemeral credentials, хотя механика триггеров включения/отключения пока не прописана.

🔃 «GenAI Incident Response Guide» — руководство по реагированию на инциденты в GenAI, полезное, прежде всего, организациям с молодой кибербезопасностью (где SOC и DevSecOps только строятся). Приведены меры сдерживания (пометки на аномальных сессиях, canary-prompts для защиты системного промпта, троттлинг подключений к модели), но они куда менее интересные, имхо, чем в Securing Apps.
Перечислили IoC для GenAI-инцидентов: всевозможные аномалии потоков входа/выхода GenAI-моделей, наличие PII в ответах, хэши популярных атакующих запросов.
Далее авторы пустились в полет фантазии: и методика оценки рисков, и примеры для дашбордов SOC для AI, и еще куча всего. Описана модель зрелости SOC для AI с необходимыми шагами для "эволюции".
Полезной могу отметить матрицу расчёта критичности AI-инцидентов по пяти направлениям, по которой можно определять скорость реагирования на инцидент, состав команды и масштаб пост-инцидентных мер.
Но что меня расстроило, так это как раз таки полное отсутствие специфики AI-агентов. Недоработали OWASP тут.

⚙ В «State of Agentic AI Security and Governance» OWASP рассматривается рынок фреймворков и механизмов защиты. Дан обзор безопасности open-source решений вроде dify, autogen, crewai у многих есть гардрейлы, а в Letta, OpenAI Agents SDK, Google ADK и т.д.. Проприетарные платформы тоже не обошли вниманием: AWS Bedrock Agents фильтрует контент и ограничивает действия агентов, SF Agentforce блокирует оффтоп и галлюцинации и маскирует доменные данные, Azure AI Foundry предоставляет дашборды рисков, инструменты для AI Red Teaming и DLP, IBM Watsonx Orchestrate — детектор неэтичности, управление ЖЦ агента и интеграция с Splunk/QRadar, Google Vertex AI Agent Builder — фильтры, агентный IAM и анализ reasoning-логов. Упомянуты и протоколы агентов, но анализ на безопасность меня не впечатлил. Завершают документ прогнозы по развитию compliance-практик, но они для России полностью нерелвантны, к сожалению.

Лучшие работы Dissertation Award и немного статистики: подводим итоги ACL 2025

В этом году Ассоциация компьютерной лингвистики (ACL) учредила награду для лучших PhD-диссертаций. Критериев выбора несколько. Исследование должно:

⚪️быть связным и хорошо написанным;
⚪️охватывать одну из областей интереса ACL;
⚪️удовлетворять принятым в академии методологиям;
⚪️вызывать желание прочитать его целиком.

Диссертацию пубедителя публикуют в журнале Computational Linguistics, который индексируется в Scopus и Web of Science, а также стабильно входит в I и II квартиль.

В этом сезоне с 1 сентября 2022-го по 31 августа 2024 года на рассмотрении комиссии подали 29 диссертаций. Почётного упоминания удостоились работы:

Human-AI Collaboration to Support Mental Health and Well-Being
Ashish Sharma

Диссертация сдвигает границы взаимодействия человека с ИИ: автор исследует способы выявлять и имитировать эмпатию, расширяя возможности применения NLP для улучшения ментального здоровья людей.

Modeling Cross-lingual Transfer for Semantic Parsing
Tom Sherborne

В этой диссертации развивают высокоточные методы кросс-лингвистического трансфера для языков, на которых собрано слишком мало датасетов для разработки и обучения моделей. Эффективность методов демонстрируется в контекст семантического парсинга для интеграцим с базами данных API.

Лучшей диссертацией стала работа об LLM:

Rethinking Data Use in Large Language Models
Sewon Min

На фото улыбается победительница — Sewon Min, одна из самых известных учёных в области обработки естественного языка. Она специализируется на языковых моделях, использующих контекст. Большинство её статей посвящено задаче автоматического ответа на вопросы, в частности, проблеме повышения фактической корректности ответа.

В диссертации Sewon Min сосредоточилась на более узких темах: генерации на основе примеров (fewshot-learning), а также непараметрических языковых моделях, которые используют для генерации внешний корпус. В исследование вошло множество инсайтов о поведении и возможностях больших лингвистических моделей в рамках обучения с контекстом. Эти находки сформировали сегодняшнее ядро NLP.

Больше о трендах и лучших статьях конференции читайте в предыдущих постах:

В Вене проходит 63-я ежегодная конференция ассоциации компьютерной лингвистики — ACL 2025

Интересное с конференции ACL 2025

Запомнили для вас всё самое интересное ❣ Алексей Березникер и Алексей Сорокин

#YaACL25

Душный NLP