Forwarded from Похек
Ваш LLM-агенты в зоне риски: 3 кейса и чек-лист
#ai #security #llm #агенты #agent
♾️ Кейсы♾️
➡️ McKinsey: автономный агент-пентестер нашёл в их системе классическую SQL-инъекцию. Через неё можно было подменять промт агента, который крутится поверх данных. Отравление + classic injection = полный compromise. Нашёл не человек - нашёл другой агент.
➡️ EchoLeak (CVE-2025-32711): zero-click в Microsoft 365 Copilot. Атакующий присылает письмо с prompt injection, пользователь просит Copilot сделать summary - данные утекают без единого клика. XPIA-классификаторы прошли мимо, потому что prompt был написан "для человека".
➡️ s1ngularity (NX, август 2025): supply chain на npm-пакет NX. Вместо того чтобы грепать диск, зловред натравливал
♾️ Главный тейк♾️
Промт и данные в LLM неразделимы. SQL можно изолировать программно, а LM останется уязвимой всегда: регулярки ловят ~50%, классификаторы ~25%, LLM-guard ещё ~15%. Оставшийся 1% с нами навсегда.
♾️ Чек-лист на прод♾️
▪️ Allowlist тулов + tool gating
▪️ Разделение промта, памяти и данных в разных хранилищах
▪️ Инвентаризация агентов и их исходящих коннектов
▪️ Observability - логируй промты и tool calls
▪️ Никакого выхода в интернет без прослойки
▪️ Не доверяй
▪️ Red-teaming при каждой смене модели
▪️ Мониторинг supply chain: MCP, скиллы, скачиваемые протоколы
Агенты разрешают всё по чуть-чуть: сначала read, потом create, потом delete. И вот ты уже доверил
♾️ Где это обсудить вживую♾️
22 апреля в Москве South HUB проводит клубную встречу "Кибербезопасность в эпоху AI-агентов". Формат - открытая дискуссия без докладов и слайдов. Среди спикеров Андрей Кузнецов (Head of ML, Positive Technologies) - один из участников того самого подкаста, Артём Гутник (CISO НСПК), Алексей Леднев (PT ESC) и Алексей Лукацкий. Рега ТУТ
#ai #security #llm #агенты #agent
Claude Code, Gemini CLI и Amazon Q искать секреты. Первая AI-weaponized supply chain атака: ~2300 секретов из 1300+ репозиториев.Промт и данные в LLM неразделимы. SQL можно изолировать программно, а LM останется уязвимой всегда: регулярки ловят ~50%, классификаторы ~25%, LLM-guard ещё ~15%. Оставшийся 1% с нами навсегда.
README, .env и RAG-чанкамАгенты разрешают всё по чуть-чуть: сначала read, потом create, потом delete. И вот ты уже доверил
rm -rf свежей модели на ноуте с продакшн-ключами.22 апреля в Москве South HUB проводит клубную встречу "Кибербезопасность в эпоху AI-агентов". Формат - открытая дискуссия без докладов и слайдов. Среди спикеров Андрей Кузнецов (Head of ML, Positive Technologies) - один из участников того самого подкаста, Артём Гутник (CISO НСПК), Алексей Леднев (PT ESC) и Алексей Лукацкий. Рега ТУТ
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from AlexRedSec
This media is not supported in your browser
VIEW IN TELEGRAM
AIRQ Framework – очень классное исследование и подход оценки безопасности использования ИИ-агентов в корпоративной среде: в рамках работы изучили сотню агентов, которые предварительно разбили на десять классов (по специфике работы), на предмет выявления рисков, связанных с предоставлением доступа к данным и выполнению критичных операций.
В итоге все агенты разнесли на четыре профиля риска, основываясь на определенной поверхности атаки, эффективности защитных мер и размере возможного ущерба (в случае компрометации агента):
🟠 Exposed Giants – широкие возможности, но слабая защита.
🟠 Fortified Leaders – мощные возможности с пропорциональными мерами защиты.
🟠 Humble Providers – ограниченные права доступа и слабая защита.
🟠 Tight Operators – узкая специализация и сильная защита.
На сайте сделали удобную визуализацию результатов сравнения, а для каждого (из сотни!) агентов есть подробное описание профиля риска, советы по харденингу и ссылки на документацию/связанные исследования/уязвимости.
Помимо точечных выводов по каждому агенту, есть аналитика по каждому классу агентов и рекомендации по выбору решений и организационным мерам защиты.
#ai #framework #airq #risk #controls #research #vulnerability #agent #hardening
В итоге все агенты разнесли на четыре профиля риска, основываясь на определенной поверхности атаки, эффективности защитных мер и размере возможного ущерба (в случае компрометации агента):
На сайте сделали удобную визуализацию результатов сравнения, а для каждого (из сотни!) агентов есть подробное описание профиля риска, советы по харденингу и ссылки на документацию/связанные исследования/уязвимости.
Помимо точечных выводов по каждому агенту, есть аналитика по каждому классу агентов и рекомендации по выбору решений и организационным мерам защиты.
#ai #framework #airq #risk #controls #research #vulnerability #agent #hardening
Please open Telegram to view this post
VIEW IN TELEGRAM