🔥 Первый день Форума «Цифровые решения» — работаем

Мы представили два руководства по безопасной работе с ИИ-агентами. Скачиваем и изучаем:

▶️Безопасность ИИ-агентов через призму кибериммунитета
Внутри: разбор реальных атак через контекст (Echoleak, Searchleak, Camoleak) и практические советы по изоляции агента и контролю его инструментов. Полезно будет почитать и разработчикам, и руководителям.

▶️Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт «Лаборатории Касперского»
Здесь разбираем основные риски внедрения облачных ИИ-агентов в разработку ПО, показываем подход компании к их снижению и делимся практическим опытом R&D-команды.

А ещё — смотрим видео с Максимом Лызаевым, менеджером по сопровождению корпоративных продаж «Лаборатории Касперского», о том, как проходит первый день Форума ⬆️

Research-first-builder — заставьте вашего агента по программированию обосновать архитектуру реальными исходными текстами, прежде чем она будет собрана.

🐱 GitHub

Mensarium — self-hosted обвязка для AI-агента: ставите Core на сервер или ноутбук, подключаете остальные Mac и Linux одной командой и отдаёте агенту задачи из браузера или Telegram.

Агент читает и правит файлы, запускает bash, работает с репозиториями в отдельных ветках и выполняет задачи по расписанию на любой модели (Claude Code, Codex, Ollama, OpenAI-совместимые API).

Любое изменение на машине он делает только после вашего подтверждения, и всё хранится на вашем железе.

🐱 GitHub

Коллеги подвели итоги конкурса ИИ-агентов BlueSec по расследованию инцидентов ИБ, о котором я писал. Помимо основных победителей, определили и шуточные номинации. Но если посмотреть на цифры серьезно, обнаруживается немало интересного:
🔴 Агент-параноик – 967 ложных тревог из 2198 вердиктов (44%).
😇 Наивный агент – 304 пропущенные атаки из 425 вердиктов (71,5%).
🔁 Агент с амнезией – 71 повторный вызов инструмента с одинаковыми параметрами.
🎰 Любитель экспериментов – 1634 запуска.
🐢 Агент-черепаха – более 9 часов на расследование.
⚡️ Агент-спринтер – 30 правильных вердиктов за 48 секунд.
🗃 Собиратель данных – выгрузил 7800 сущностей и 2500 связей.

Разброс впечатляет. Например, отношение времени самого долгого расследования к 48 секундам спринтера – почти 683 раза! Правда, это разные показатели: в одном случае время одного расследования, в другом – обработки 30 инцидентов, но... Если эти три десятка инцидентов были "решены" без ошибок за 48 секунд, то значит ли это, что все, наступила эра автономных SOCов? Нет!

Я не знаю, какие модели использовали участники (и мы вроде как и не собирали эти данные), но результаты позволяют сделать несколько выводов.
6️⃣ Качество модели ≠ качество агента. Даже самая умная LLM может стать основой неэффективного агента, который зацикливается, собирает лишнюю информацию или неправильно интерпретирует события.
2️⃣ Правильный ответ – еще не показатель эффективности. Важно, сколько времени, токенов и вызовов инструментов потребовалось для его получения. И сколько лишних действий агент совершил по дороге.
3️⃣ Больше данных ≠ лучше расследование. Тысячи сущностей и связей могут помочь обнаружить сложную атаку, а могут превратиться в информационный шум. Агент должен понимать, когда информации уже достаточно.
4️⃣ Скорость ≠ качество. 30 правильных ответов за 48 секунд впечатляют, но возникает вопрос: агент действительно расследовал инциденты или научился распознавать их по нескольким признакам? И сохранится ли результат на новых данных?
5️⃣ Агент должен уметь останавливаться. Контроль циклов, ограничение числа вызовов, бюджет токенов, оценка достаточности доказательств – не менее важные элементы архитектуры, чем сама LLM.
6️⃣ Нужна воспроизводимость. Один правильный ответ ничего не говорит о том, насколько стабильно агент будет решать ту же задачу при повторных запусках. Для SOC важна не лучшая попытка из тысячи, а вероятность правильного решения с первого раза.

💡 Главный вывод. Мы привыкли оценивать ИИ по тому, насколько правильно он отвечает на вопросы. Но для агентного ИИ этого уже недостаточно. Нужно оценивать не только результат, но и поведение: как агент рассуждает, какие инструменты вызывает, сколько данных собирает, как проверяет гипотезы, сколько ресурсов расходует и умеет ли вовремя остановиться. В промышленном SOC победит не обязательно самый умный агент. А тот, кто предсказуемо, обоснованно и с приемлемыми затратами приходит к правильному решению. И, возможно, главное умение будущего SOC-агента – не только находить атаки, но и понимать, когда уже хватит расследовать.

#ии #soc #управлениеинцидентами

🔖 MITRE ATT&CK v20: ИИ наконец-то получил полноценную прописку в матрице

13 октября вышло мажорное обновление MITRE ATT&CK v20 (v19.2 → v20.0). Все изменения традиционно доступны в Release Notes, детальном changelog и на официальной странице проекта в Medium. Для наглядного сравнения версий рекомендую ATT&CK Sync

Тема ИИ последний год греется не по-детски: ИИ стабильно в чарте любой зарубежной аналитики и конференций по ИБ. MITRE подходила к теме неспешно: в v15 появилась T1588.007 Obtain Capabilities: Artificial Intelligence, в v19 добавили T1682 Query Public AI Services и T1683 Generate Content. Но всё это про ИИ как инструмент в руках атакующего, где ИИ используется как инструмент нацеливания, генерации ВПО (эти техники расположены на шагах Resource Development и Recon до непосредственного проникновения) . В v20 сделан следующий шаг: ИИ становится целью атаки внутри компании. Релиз включает новые техники и подтехники, охватывающие prompt injection, эксфильтрацию через ИИ, отравление ИИ-выдачи, атаки на ИИ-средства защиты, обход CAPTCHA и другие

Примеры некоторых интересных техник:
🔺 T1608.007 Stage Capabilities: AI Result Poisoning - SEO-отравление нового поколения. Манипуляция общедоступным веб-контентом, чтобы влиять на поисковые системы на базе ИИ, заставляя их извлекать и рекомендовать информацию, контролируемую злоумышленниками
🔺 T1696  Anti-Automation Evasion сразу с двумя подтехниками. Использование ботов для успешного решения задач CAPTCHA, имитация поведения человека.
🔺 T1700 AI-Enabled Exfiltration. Кража данных с использованием корпоративных агентов
🔺 T1685.007 Disable or Modify Tools: Impair Autonomous Defenses. Моя любимая. Атака на ИИ-защитников в SOC при котором такие системы будет игнорировать данные, не смогут предупредить о вредоносной активности, прервать анализ или полностью отключиться

К сожалению с Procedure Examples в добавленных техниках пока глухо, примеры их реализации видимо увидим попозже. Зато добавлена кампания C0064 - ИИ-ассистированный взлом государственной инфраструктуры Мексики, затронувший и IT, и OT

В новом релизе команда выпустила шесть стратегий обнаружения для Enterprise и девять для матрицы ICS. Под ИИ-техники выпустили стратегии обнаружения для эксфильтрации через агентов (DET0927) и отравления выдачи (DET0922).

Помимо ИИ команда MITRE здорово вложилась в матрицу ICS: 9 новых техник и еще 83 модифицировали, поработали над аналитикой, и даже добавили одну защитную меру

Сухая статистика: в Enterprise теперь 15 тактик, 227 техник, 479 подтехник, 703 стратегии обнаружения и 1770 аналитик. Митигаций по-прежнему 44 - стабильность, которую мы заслужили

И да, как и обещал, в посте про маппинг CIS Controls на v19.1 - маппить придётся снова. Следующий релиз v21 запланирован на апрель. Приятного чтива!
#mitre

PT Application Firewall научился защищать ИИ-агентов и сервисы на основе LLM от кибератак

🤖 Сервисы на основе больших языковых моделей уже стали полноценными участниками бизнес-процессов. Они работают незаменимыми ассистентами и личными секретарями, неутомимыми аналитиками, внимательными сотрудниками техподдержки и отделов продаж, джунами, тестировщиками и даже киберзащитниками.

Но кто защитит самих виртуальных помощников, у многих из которых есть доступ к персональным данным, корпоративным документам и информационным системам? Встречайте нашего супергероя LLM Firewall — новый модуль в составе решения для защиты веба PT Application Firewall, смело встающий на киберзащиту ИИ-сервисов.
 
Как это работает

Представьте, что у вас есть ИИ-бот, который принимает у клиентов заказы или занимается их жалобами. И вот, злоумышленник, выдавая себя за клиента, отправляет ему хитрый запрос. Составлен он так, чтобы обойти установленные ограничения, и заставить бота выдать закрытую информацию или выполнить нежелательное действие.

Так работает один из любимых приемов киберпреступников — инъекция промптов (prompt injection), похожим образом бота могут взломать при помощи документов, которые обрабатывает LLM. Причем традиционные средства веб-защиты воспринимают это как обычное сообщение от пользователя, а не как атаку.

Модуль LLM Firewall встает между приложением и языковой моделью, внимательно проверяя входящие запросы и ответы. Ищет джейлбрейки, попытки вытащить системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Находит — блокирует или фиксирует для разбора.

А еще — контролирует, какую информацию пользователи передают ИИ в своих запросах. При этом обращает внимание как на персональные данные, пароли, ключи доступа и другие секреты, так и на токсичный, запрещенный и потенциально опасный контент.

Двусторонняя проверка позволяет компаниям контролировать и входящую информацию, и исходящую, избегая репутационных рисков из-за некорректных ответов бота пользователям.

Кому пригодится такая защита

Можем честно сказать, что всем. Но в первую очередь организациям, много общающимся с пользователями через ИИ-сервисы или внедряющим их прямо сейчас. Например, банкам, ретейлерам, маркетплейсам, телеком-операторам и ИТ-компаниям. Здесь риски атак на LLM-модели выше, а компрометация чувствительных данных может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.

«Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — говорит Павел Пархомец, руководитель продукта PT AF Cloud.

Как подключить модуль

Хорошая новость: модуль уже интегрирован в PT AF Cloud и подключается к обмену данными через API, совместимый с OpenAI. Отдельная консоль не нужна. Скоро он будет и в on-premise версии PT AF PRO.

Так что вам останется только настроить политики и выбрать режим — мониторинга или блокировки, чтобы спать спокойно не переживать о безопасности своих ИИ-помощников.

#PTAFCloud
@Positive_Technologies

Google выложила в опенсорс Harness² — харнесс, который позволяет ИИ-агентам самостоятельно улучшать свою работу.

Агенты могут менять и улучшать собственные промпты, память, инструменты и скиллы, за ем тестировать разные варианты и выбирать лучшие конфигурации. На бенчмарках улучшения реально заметны — до +12 баллов. Доп итерации еще больше повышают результат.

Уже ждет вас здесь 😎