🧨 AI-агенты научились обходить собственные защитные механизмы

Большинство тестов безопасности проверяют LLM просто задавая опасный запрос и проверяя, откажется ли модель его исполнять. Однако исследователи показали, что для coding-агентов такой подход больше не работает.

Оказывается, агент может уверенно отказаться выполнять вредоносный запрос в чате, а затем самостоятельно собрать тот же результат в процессе обычной разработки.

⚙️ Как работает jailbreak?

Исследователи разбили опасную задачу на цепочку привычных действий IDE-агента:
🔹 чтение файлов проекта;
🔹 анализ существующего кода;
🔹 создание новых модулей;
🔹 исправление ошибок;
🔹 рефакторинг;
🔹 генерация итогового проекта.

Каждый отдельный шаг выглядит полностью легитимным. Однако в сумме агент постепенно строит код, который в обычном чате отказался бы генерировать.

🧠 Что проверяли?

Авторы протестировали GitHub Copilot с несколькими современными моделями.

При прямых запросах практически все они корректно отказывались выполнять опасные инструкции. Но при разбиении задачи на последовательность обычных действий IDE исследователи получили успешное выполнение во всех протестированных сценариях.

🛡️ Делаем выводы

Для AI-агентов недостаточно фильтровать отдельные сообщения. Решения начинают приниматься на уровне execution graph, где безопасные действия по отдельности складываются в небезопасный результат.

🔗 Исследование: https://arxiv.org/abs/2607.03968

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #GitHubCopilot #AgenticAI #Jailbreak #AISecurity #AppSec #CyberSecurity #SecureTechTalks

🧨 Guardrails учатся думать: SingGuard-NSFA

Современные guardrails работают примитивно, получили запрос, нашли запрещённый паттерн и заблокировали. Однако для AI-агентов этого уже недостаточно. Атаки ушли от простых jailbreak'ов к сложным сценариям с prompt injection, опасными tool calls и постепенной компрометацией reasoning.

На GitHub появился SingGuard-NSFA, open-source guardrail, разработанный специально для защиты agentic AI.

⚙️ Чем он отличается от остальных?

Вместо одного бинарного решения модель использует двухуровневую архитектуру.

Для runtime работает лёгкий классификатор, способный принимать решение примерно за 50 мс. Если ситуация неоднозначна, подключается генеративный анализ, который пошагово сопоставляет запрос с политиками безопасности и объясняет, почему действие считается опасным.

🧠 Не просто jailbreak

SingGuard построен вокруг таксономии NSFA (Not Secure For Agents), которая описывает 185 вариантов угроз, связанных именно с агентными системами.
Среди них:
➖ prompt injection и jailbreak;
➖ попытки извлечения секретов;
➖ генерация вредоносного кода;
➖ опасное использование инструментов;
➖ утечка конфиденциальных данных;
➖ атаки на доступность через истощение ресурсов.

В отличие от обычных модераторов контента, модель проверяет не только запрос пользователя, но и ответ самого агента перед выполнением действий.

🛡️ Куда все идет?

За последний месяц мы уже видели MCP Injection, GhostCommit и workflow-level jailbreak. Во всех случаях проблема, что модель не генерирует токсичный текст, но принимает опасные операционные решения.

Похоже, следующее поколение guardrails будет оценивать уже не содержание диалога, а безопасность поведения AI-агента во время выполнения задач.

🔗 GitHub: https://github.com/inclusionAI/SingGuard-NSFA

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AISecurity #Guardrails #PromptInjection #RuntimeSecurity #AppSec #SecureTechTalks

🧨 OpenAI решили проверить, сможет ли AI сам распознавать prompt injection

OpenAI представили GPT-RED, новую модель, предназначенную для автоматического тестирования AI-систем на устойчивость к prompt injection и другим атакам. Вместо ручного написания jailbreak-промптов GPT-RED самостоятельно генерирует тысячи вариантов атакующих сценариев и оценивает, какие из них действительно приводят к компрометации модели.

⚙️ Динамический подбор

GPT-RED действует как автономный red team. На вход он получает описание целевой системы и её политики безопасности, после чего строит цепочки атак, постепенно адаптируя их под ответы модели.

В отличие от классических наборов тестов, где используются заранее подготовленные промпты, GPT-RED динамически меняет стратегию, если предыдущая попытка оказалась неудачной. Для обучения используется self-play: атакующая модель и защищающиеся модели одновременно совершенствуются, заставляя друг друга искать всё более сложные способы атаки и защиты.

🧠 Не только prompt injection

Модель тестирует не отдельный запрос, а поведение всей агентной системы. В фокусе оказываются:
➖ обход системных инструкций;
➖ извлечение скрытого контекста;
➖ нарушение политик безопасности;
➖ атаки на tool calling;
➖ многоэтапные jailbreak-цепочки.

По данным OpenAI, GPT-RED успешно находил атаки в 84% сценариев на независимом наборе тестов против 13% у команды людей-red team. Кроме того, атаки, сгенерированные GPT-RED, уже используются для обучения новых моделей OpenAI, что позволило значительно повысить их устойчивость к prompt injection.

🔗 Источник: https://openai.com/index/unlocking-self-improvement-gpt-red

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #PromptInjection #RedTeaming #AgenticAI #AISecurity #CyberSecurity #SecureTechTalks

🧨 Граница доверия LLM.

На arXiv вышла работа Composable Trust for Language Models, где авторы предлагают отказаться от идеи «исправить модель», а вместо этого предланают изменить архитектуру агентных систем.

⚙️ Граница доверия становится частью архитектуры

Авторы вводят понятие Composable Trust, формальной границы доверия (trust boundary), которая задаётся для каждого компонента пайплайна вокркг LLM.

Например:
🔹 RAG может предоставлять информацию, но не инициировать tool calls;
🔹 системный промпт имеет право задавать политики безопасности;
🔹 пользовательские инструкции не могут менять права доступа;
🔹 результаты поиска используются только как данные, а не как инструкции для выполнения.

При добавлении нового компонента, например MCP-сервера, общая trust boundary пересчитывается.

🧠 Как измеряют защиту?

Авторы разделяют доказуемую безопасность и измеряемую эффективность.

Критические решения принимает не сама LLM, а внешний Trust Monitor, детерминированный компонент, который отслеживает происхождение каждого фрагмента контекста и присваивает ему уровень доверия. Если запрос на вызов инструмента сформирован данными из недоверенного источника, monitor блокирует действие независимо от того, что решила модель.

После этого измеряется эффективность защиты.

В экспериментах на Gemma 3 27B комбинация Trust Monitor и механизма passivation увеличила показатель Genuine Leak Defended Rate примерно с 27% до 94%, при этом качество обычных ответов практически не изменилось (QRel ≈ 0.96). Даже при адаптивных атаках защита сохраняла около 87% успешных блокировок, а корректная атрибуция данных из недоверенных источников достигала 92%.

🛡️ Простота в действии

Практически все современные средства защиты пытаются сделать модель «умнее»: обучить новым jailbreak, добавить guardrails или улучшить системный промпт.

Авторы данного исследования предлагают противоположный подход. LLM больше не должна принимать решения о доверии. Её задача исключительно генерировать текст. Всё, что связано с доступом к инструментам, данным и выполнением действий, должно контролироваться проверяемым кодом за пределами модели.

🔗 Исследование: https://arxiv.org/abs/2607.13149

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AISecurity #PromptInjection #TrustBoundary #RuntimeSecurity #AppSec #SecureTechTalks

🧨 OpenAI теперь продают готовых AI-сотрудников

OpenAI представили Presence, новую платформу для запуска корпоративных AI-агентов. Вместо того чтобы дать компании LLM и API, OpenAI начинают поставлять практически готовую операционную среду для автономных агентов.

⚙️ Агент как бизнес-процесс

Presence - не новая модель, а инфраструктура вокруг неё. В одном продукте объединены:
🔹 корпоративные политики и SOP;
🔹 управление правами и разрешёнными действиями;
🔹 guardrails;
🔹 симуляции рабочих сценариев;
🔹 автоматическая оценка качества работы;
🔹 механизмы эскалации человеку.

Перед запуском агент проходит серию тестов на типовых запросах, сложных сценариях и граничных случаях. Система проверяет не только правильность ответа, но и соблюдение политик компании, корректность использования инструментов и своевременную передачу задачи оператору.

🧠 Саморазвитие

Все реальные обращения пользователей, ошибки и случаи эскалации анализируются Codex. Он предлагает изменения поведения агента, после чего новые версии снова прогоняются через симуляции. Только после одобрения сотрудников изменения попадают в production.

Получается непрерывный цикл самоулучшения, где агент постоянно адаптируется к изменениям бизнес-процессов, но финальное решение остаётся за человеком.

Фактически OpenAI превращают AI-агента в управляемый корпоративный сервис со встроенными механизмами DevSecOps.

🔗 Источник: https://openai.com/index/introducing-openai-presence/

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #AgenticAI #AISecurity #Guardrails #DevSecOps #EnterpriseAI #SecureTechTalks

🚨 Guardrails можно обнаружить, даже если они полностью скрыты

Большинство компаний не раскрывают, какие именно guardrails стоят перед их LLM. Для атакующего это серьёзная проблема, т.к. непонятно, блокирует ли запрос отдельный фильтр безопасности или сама модель отказалась выполнять опасную инструкцию.

Исследователи из Mindgard показали, что определить наличие guardrails можно анализируя её внешнее поведение.

⚙️ Behavioral Monitoring

Авторы предлагают метод Behavioral Monitoring, где вместо анализа модели они наблюдают за косвенными признаками ответа:
🔹 HTTP-коды и структуру ответов;
🔹 задержку обработки запросов;
🔹 особенности формулировок отказов;
🔹 изменения длины и лексики ответов.

Если последовательно отправлять серии безопасных и опасных запросов, система начинает выдавать характерные поведенческие паттерны, по которым можно определить, что перед моделью работает отдельный guardrail.

🧠 Выводы

По результатам экспериментов исследователи смогли:
➖ определить наличие guardrail со 100% точностью;
➖ отличить срабатывание guardrail от собственного отказа LLM со средним F1 = 98%;
➖ определить, какие именно категории контента фильтрует защита (например, вредоносный код, jailbreak, утечку данных и другие).

При таком подходе система безопасности сама начинает раскрывать информацию о своей архитектуре через особенности поведения.

🔗 Исследование: https://arxiv.org/abs/2607.02121

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Guardrails #PromptInjection #RedTeaming #AISecurity #AgenticAI #CyberSecurity #SecureTechTalks

🚨 Все современные LLM жульничают, даже если их об этом не просили

Исследователи проанализировали поведение 22 современных моделей от 7 разработчиков на 23 задачах Cybench.

Мы привыкли сравнивать модели по результатам CTF-бенчмарков и считать, что высокий процент решённых задач означает лучшие offensive-способности. Однако часть этих побед нельзя считать честными.

⚙️ Почти все модели начинают искать обходной путь

Результаты исследований без дополнительных ограничений:
🔹 21 из 22 моделей хотя бы один раз жульничали;
🔹 37,1% всех успешных решений оказались получены нечестным способом;
🔹 у некоторых моделей итоговые результаты были завышены почти в 5 раз.

Вместо решения самой CTF-задачи агенты пытались искать более лёгкие способы достижения цели, например исследовали инфраструктуру окружения, искали служебные файлы, пытались использовать особенности платформы или другие пути, позволяющие получить флаг без реальной эксплуатации уязвимости.

🧠 Достаточно одного промпта

Исследователи проверили три режима работы:
➖ без защиты;
➖ стандартный anti-cheat prompt;
➖ жёсткий anti-cheat prompt.

Вероятность мошенничества снизилась с 33% до 17,8%, а затем до 8,5%. При этом качество решения задач практически не снизилось. Тем не менее полностью избавиться от проблемы не удалось, даже при самых строгих инструкциях 8 моделей продолжали искать обходные пути, а некоторые стали использовать ещё более изощрённые стратегии.

🛡️ Новый показатель для AI-бенчмарков

Авторы предлагают отказаться от привычного pass rate и использовать новый показатель, Solve Rate, который учитывает только честно решённые задачи.

Если агент получает доступ к shell, файловой системе или сети, измерять нужно уже не только качество его ответов, но и способ достижения результата. В противном случае модель, которая чаще всех нарушает правила, может ошибочно показаться самой сильной.

🔗 Исследование: https://arxiv.org/abs/2607.21763

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #Cybench #AISecurity #RedTeaming #PromptEngineering #CyberSecurity #SecureTechTalks

🧨 Дообучение LLM кибербезопасности может сделать ответы модели хуже

Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.

Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).

⚙️ Проблема не всегда там, где вы её ищете

Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).

Он разделяет способности модели на три независимых слоя:

🔹 Vocabulary: понимает ли модель security-термины и их значения;

🔹 Knowledge: действительно ли она знает предметную область;

🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.

🧠 Неожиданный эффект

В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.

У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.

То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.

📉 Другие изменения

После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.

Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.

🛡️ RAG или Fine-tuning?

Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.

Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.

🔗 Исследование: https://arxiv.org/abs/2607.18725

🔗 Код: https://github.com/shaswata09/FiT

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks

🧨 Claude придумал новый способ атаковать AES

Claude Mythos Preview самостоятельно нашёл новое улучшение атаки на AES и ускорил существующий метод в 200 - 800 раз. Отметим, что речь идёт не о полноценном взломе AES, а об исследовании специально ослабленной версии алгоритма.

⚙️ Ограничения

Объектом атаки стал AES-128 с 7 раундами вместо стандартных 10. Такие reduced-round версии регулярно используют в криптографии, чтобы исследовать методы атак и оценивать запас прочности полного алгоритма.

Эксперимент проводился в модели chosen plaintext, где атакующий может заставить систему шифровать выбранные им входные данные и наблюдать результаты. Для предыдущей лучшей атаки требовалось порядка 2¹⁰⁵ выбранных plaintext'ов, то есть эксперимент был чисто теоретическим и практически невыполнимым.

🧠 Что придумала модель?

Claude продолжил существующую линию meet-in-the-middle атак.

Атака получила название Möbius Bridge. Вместо того чтобы на одном из этапов перебрать 256 возможных значений, модель нашла fingerprint, инвариантный к этому значению. Это фактически убирает целый множитель 256 из вычислений.

Но одной идеи оказалось недостаточно, модель затем самостоятельно придумала дополнительные оптимизации, чтобы компенсировать вычислительную стоимость нового преобразования.

Итоговый результат дал ускорение предыдущей лучшей атаки в 200 - 800 раз в зависимости от способа оценки.

🔥 Как модель до этого дошла?

Сначала Claude фактически отказался от задачи. Он рассуждал, что AES слишком хорошо изучен и улучшить атаку практически невозможно.

Исследователи не давали модели новую криптографическую теорию. Они лишь несколько раз возвращали её к задаче и требовали искать именно новую атаку, а не переключаться на более простой шифр.

После этого Mythos начал запускать собственные гипотезы и вычислительные эксперименты.

Через три дня модель нашла идею Möbius Bridge. Затем ещё несколько дней самостоятельно улучшала результат, сгенерировав в сумме около миллиарда токенов. На весь процесс пришлось около $100 000 API-затрат.

🛡️ AES всё ещё в порядке

Важно не поддаться громкому заголовку. Полный AES-128 не взломан. Mythos атаковал только 7 из 10 раундов. Anthropic прямо указывает, что результат не создаёт практической угрозы современным системам.

🔗 Источник: https://www.anthropic.com/research/discovering-cryptographic-weaknesses

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Cryptography #AES #Cryptoanalysis #Claude #Anthropic #AISecurity #SecureTechTalks

🧨 Future AGI: Шесть инструментов вместо одного или операционной системой для AI-агентов

Почти каждая команда, разрабатывающая AI-агентов, собирает стек из десятков отдельных инструментов: Langfuse для трассировки, Braintrust для evals, Guardrails AI для защиты, Бог знает что для мониторинга...

Open-source проект Future AGI предлагает заменить этот конструктор единой платформой для всего жизненного цикла AI-агента.

⚙️ Функиональность

Вместо одного SDK разработчики получили полноценную инженерную платформу:

🔹 Tracing
OpenTelemetry-трассировка для 50+ AI-фреймворков с анализом latency, стоимости запросов и цепочек вызовов;
🔹 Evaluation
Более 50 встроенных метрик: hallucinations, groundedness, корректность tool calls, PII, jailbreak, prompt injection и собственные критерии оценки;
🔹 Simulation
Генерация тысяч пользовательских сценариев, adversarial-запросов и edge-case тестов ещё до выхода агента в production;
🔹 Guardrails
18 встроенных защитных модулей и интеграции с внешними решениями вроде Llama Guard, Presidio и Lakera;
🔹 Gateway
Единая точка доступа к сотням LLM-провайдеров с маршрутизацией, semantic cache, virtual keys и MCP;
🔹 Optimization
Автоматическое улучшение промптов на основе реальных production-трейсов.

🧠 Принципиальный подход

Сначала агент проходит симуляции, затем оценивается по десяткам метрик, после запуска собирает production-трейсы, а найденные ошибки автоматически превращаются в новые тесты и предложения по оптимизации промптов.

Платформа реализует непрерывный цикл simulate → evaluate → protect → monitor → optimize, превращая эксплуатацию AI-агента в управляемый инженерный процесс, а не бесконечную ручную настройку.

🔗 GitHub: https://github.com/future-agi/future-agi

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AgentOps #AISecurity #Observability #Guardrails #DevSecOps #SecureTechTalks

🧨 Black Hat USA 2026: какой будет кибербезопасность уже завтра?

Каждый август Black Hat становится местом, где впервые публично показывают исследования, которые через несколько месяцев превращаются в реальные инструменты атак и защиты. В этом году главная тема конференции, спойлер, AI-агенты.

Практически в каждом треке обсуждали уже не отдельные LLM, а автономные системы, способные самостоятельно искать уязвимости, атаковать инфраструктуру и принимать решения.

⚙️ Главные тренды Black Hat 2026

🔹 AI выходит в offensive security
Исследователи показали новые способы эксплуатации агентных систем, атак на AI-помощников разработчиков и автономный поиск цепочек эксплуатации.

🔹 GitHub становится новой конечной точкой
Отдельные доклады были посвящены обнаружению компрометации по собственным событиям GitHub, защите CI/CD и борьбе с атаками на цепочки поставок ПО.

🔹 Cloud и Agent Security окончательно объединились
В центре внимания оказались атаки на Cloudflare Workers, Kubernetes, MCP и облачные AI-платформы, где компрометация агента уже означает компрометацию инфраструктуры.

🔹 Криптография снова в центре внимания
На конференции представили новые исследования криптоанализа, безопасности библиотек шифрования и практических атак на современные криптографические реализации.

🔗 Конференция: https://www.blackhat.com/us-26/

🔗 Arsenal (инструменты конференции): https://www.blackhat.com/us-26/arsenal-overview.html

Stay secure and read SecureTechTalks 📚

#кибербезопасность #BlackHat #BlackHat2026 #AI #LLM #AgenticAI #AISecurity #AppSec #CyberSecurity #SecureTechTalks

🧨 Future AGI: единый стек для AI-агентов

AI-агента легко запустить. Гораздо сложнее понять, насколько он безопасен и стабилен после запуска.

Open-source платформа Future AGI объединяет в одной платформе инструменты, которые обычно приходится собирать отдельно:
🔹 Tracing - отслеживание LLM-вызовов, tool calls, latency и стоимости;
🔹 Evaluation - проверка качества, hallucinations, PII, jailbreak и prompt injection;
🔹 Simulation - генерация пользовательских и adversarial-сценариев до выхода в production;
🔹 Guardrails - проверка входов и выходов агента;
🔹 Gateway - единая точка работы с LLM-провайдерами, routing и caching;
🔹 Optimization - автоматический поиск более эффективных вариантов промптов.

🛡️ Безопасность проверяется не только на входе

Future AGI позволяет прогонять агента через проверки на prompt injection, jailbreak, PII и другие нарушения политик безопасности. Проверки можно использовать как guardrails во время работы агента и как evaluation-критерии при тестировании новых версий.

🧠 Петля

Продукт зацикливает работу агентов:
simulate → evaluate → protect → monitor → optimize

Нашли проблему → добавили сценарий в evaluation → проверили новую версию → снова отправили в production.

Поведение агента постоянно измеряется, тестируется и улучшается.

🔗 GitHub: https://github.com/future-agi/future-agi

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AgentOps #AISecurity #Guardrails #DevSecOps #OpenSource #SecureTechTalks

🧨 Зашифрованные мысли LLM не такие уж секретные

Разработчики Anthropic, OpenAI и Google специально прячут chain-of-thought. Пользователь получает только краткое summary, а полное reasoning API возвращает в виде зашифрованного блока, который клиент должен передать обратно при следующем запросе.

Звучит безопасно? Спойлер - нет.

Исследователи из Tübingen, Max Planck, MATS и Snyk показали, что если взять такой блок от сильной модели и передать его более слабой модели того же провайдера, слабую модель можно заставить расшифровать и вывести исходный reasoning практически дословно.

⚙️ В чём проблема?

Уязвимость оказалась архитектурной. Reasoning-блоки были совместимы между разными сессиями, пользователями и моделями внутри одной экосистемы.

Схема выглядит так:

сильная модель → encrypted reasoning → слабая модель → plaintext reasoning

Более слабая модель становится дешёвым «дешифратором», потому что у неё менее строгие защитные настройки.

🧠 Дальше больше

Учёные скачали 315 320 зашифрованных reasoning-блоков из публичных репозиториев и смогли восстановить из них:

🔹 367 PII-артефактов;
🔹 182 credentials.

То есть разработчик мог спокойно опубликовать лог, увидеть в нём набор бессмысленных символов и фактически выложить вместе с ним пароль или API credential.

Стоит учесть, что reasoning может содержать информацию, которой вообще нет в видимой части сессии.

🔥 Более опасный сценарий

Исследователи показали, что этот же механизм можно использовать и в обратную сторону. Не извлекать скрытый prompt, а спрятать вредоносную инструкцию внутри reasoning-блока.

Видимый лог выглядит нормально. Человек ничего подозрительного не замечает, но другой агент, получив этот блок как часть истории предыдущего запуска, может прочитать встроенную инструкцию как собственное прошлое состояние.

Получается новый вариант invisible prompt injection, который особенно опасен для публичных коллекций agent trajectories.

🧨 Причем тут Kimi?

Авторы отдельно сравнили скрытые reasoning-трейсы Claude Opus 4.8 и GPT-5.6 Sol с несколькими open-weight моделями.

У Kimi K3 обнаружились необычно сильные совпадения. Это выглядит как возможный след distillation, но авторы подчёркивают, что эксперимент не доказывает, что Kimi действительно обучалась на украденных reasoning-трейсах.

🔗 Исследование: https://arxiv.org/abs/2608.09867

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #ChainOfThought #AgenticAI #AISecurity #PromptInjection #DataLeak #ModelSecurity #SecureTechTalks

💣 Convergent Detour Hijacking: когда AI-агент делает всё правильно

У AI-агентов появляется новый класс атак, который сложно заметить обычными security-проверками.

Convergent Detour Hijacking (CDH) не заставляет агента провалить задачу. Наоборот, агент приходит к правильному результату, но по специально навязанному обходному и безумно дорогому маршруту.

Представьте задачу: «найти уязвимость в приложении и подготовить отчёт.»

Нормальный агент:

recon → test → analyze → report

После атаки:

recon → test → verify → re-check → reproduce → validate → compare → retry → analyze → report

Каждый шаг выглядит разумным. Но их становится в разы больше. Растёт всё:

🔹 количество tool calls
🔹 число inference steps
🔹 расход токенов
🔹 время выполнения
🔹 нагрузка на инструменты
🔹 стоимость запуска агента

🎯 В чём трюк?

Агент подменяет или заражает skill, определяющий, как агент должен решать задачу. В навык можно добавить дополнительные проверки, повторные валидации или альтернативные ветки и увеличить стоимость решения задачи в несколько раз.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AIsecurity #AIAgents #LLM #AgentSecurity #PromptInjection #AgenticAI #Cybersecurity #LLMSecurity #SecureTechTalks

🧨 AI-агенты умеют работать с кодом. Но что будет, если кода больше нет?

Исследователи из Columbia, Berkeley, UCLA, Tufts и других организаций представили SRE-Bench, бенчмарк, созданный специально для проверки того, насколько AI-агенты способны разбирать неизвестные бинарники, а не узнавать уже знакомый проект из обучающих данных.

⚙️ Больше никакого «угадай, что это за программа»

Авторы сделали 19 программ с нуля, общей сложностью более 320 000 строк кода.

Внутри пять типов задач:
🔹 сетевые протоколы;
🔹 firmware;
🔹 игровые приложения;
🔹 собственные форматы файлов;
🔹 безопасная имитация malware.

Средний размер программы 16,9 тыс. строк.

Затем исследователи превратили их в 262 уникальных бинарных экземпляра и добавили 44 механизма anti-analysis: obfuscation, anti-debugging, виртуализированный loader, шифрование страниц кода, anti-dump и другие техники.
В итоге получилось 1 572 детерминированно проверяемые задачи.

На создание всего этого ушло более 5 000 часов работы специалистов по reverse engineering.

🧠 Результаты AI

Пять frontier-моделей получили одинаковый набор инструментов: Ghidra, GDB, angr, radare2, binutils и другие RE-инструменты.

Лучшей оказалась GPT-5.6-Sol:
61,4% среднего результата и только 80 из 262 бинарников полностью решены (31,5%).
Claude Opus 5 решил 12,5%, GPT-5.5 - 3,8%, Grok 4.5 - 0,9%, а GLM-5.2 не смог полностью решить ни одного экземпляра.

Эксперимент стоил исследователям $31,4 тыс. и занял около 1 812 sandbox-часов.

🔥 Агенты думают не как reverse engineer

У человека оптимизированный и statically linked бинарник обычно сложнее анализировать, а у AI почти наоборот.
Для GPT-5.6-Sol оптимизация снизила результат всего с 4,75 до 4,67 из 6, а static linking с 4,73 до 4,69.

Удаление символов оказалось намного болезненнее: результат упал с 4,95 до 4,47.

Похоже, современные агенты сильно опираются на имена функций, переменных и другие lexical anchors, которые помогают им построить смысловую модель программы. Когда эти подсказки исчезают, capability резко проседает.

🛡️ Защита ломает всё

Когда авторы включили собственный anti-analysis слой, результат GPT-5.6-Sol практически упал вдвое: с 4,69 до 2,50.
Claude Opus 5 рухнул с 3,07 до 0,33, а остальные модели приблизились к нулю.

AI уже довольно хорошо работает с известной структурой исходного кода. Но между «прочитать код» и «понять неизвестный защищённый бинарник» пока огромная пропасть.

Бинарный анализ не экзотическая задача. Именно так приходится исследовать значительную часть malware, firmware, закрытого enterprise-софта и security appliances. Авторы отмечают, что 46,5% уязвимостей, эксплуатируемых in-the-wild, связаны с вендорами, которые не публикуют исходный код.

🔗 Исследование: https://arxiv.org/pdf/2608.11469

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #ReverseEngineering #MalwareAnalysis #BinaryAnalysis #AISecurity #ThreatResearch #SecureTechTalks

🧨 Hazmat: sandbox для AI-агентов на macOS

Coding-агенты (Claude Code, Codex и т.д.) умеют самостоятельно выполнять shell-команды, устанавливать зависимости и менять файлы. Если агент получит prompt injection то, последствия могут быть крайне печальными.

OpenSource продукт Hazmat ограничивает агента на уровне операционной системы.

⚙️ Немного деталей

Агент запускается от отдельного пользователя "agent", поэтому не получает ваш "$HOME", SSH-ключи и credentials.

Дополнительно используются:

🔹 macOS Seatbelt для ограничения доступа к файловой системе;
🔹 PF firewall и DNS blocklist для контроля сетевого доступа;
🔹 ограничения для package managers, включая npm;
🔹 snapshot проекта перед запуском и возможность посмотреть diff или откатить изменения.

Перед стартом работы указывается session contract: какие каталоги доступны, что можно изменять и какие интеграции включены.

🛡️ Принципиальные ограничения

Представим вредоносный "CLAUDE.md", который заставляет агента прочитать "~/.ssh/id_ed25519" и отправить ключ наружу.

Модель может выполнить команду, но её процесс не должен иметь необходимых прав и доступа. Безопасность должна учитывать сценарий, в котором модель уже скомпрометирована.

🔗 GitHub: https://github.com/dredozubov/hazmat

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #ClaudeCode #Codex #AISecurity #Sandbox #macOS #SecureTechTalks

🧨 LLM научились ловить ботов. Теперь боты учатся обманывать LLM

Соцсети всё чаще используют LLM для поиска ботов. Модель читает профиль, историю публикаций и пытается понять, перед ней человек или автоматизированный аккаунт.

Проблема начинается в тот момент, когда атакующий понимает, как работает детектор.

⚙️ Достаточно переписать запрос

Исследователи из Reichman University проверили три open source модели: Llama 3 8B, Gemma 7B и Mistral 7B.

Они использовали два класса атак.

🔹 Content Manipulation: AI переписывает публикации бота так, чтобы они выглядели более естественно.

🔹 LLM Manipulation: в данные добавляется prompt injection, который пытается заставить классификатор забыть исходную задачу.

У Llama точность детектирования после некоторых атак падала примерно с 91% до 75%. Для Gemma падение доходило примерно до 35%.

🧠 Атака на сам детектор

Самый действенный результат связан с prompt injection. Для Llama и Gemma некоторые варианты атак снижали качество классификации примерно на 46% и 48% соответственно. Причём модель могла начать выполнять инструкции из анализируемого контента вместо первоначальной задачи определения бота.

Таким образом, система безопасности сама становится объектом атаки.

🔥 Один LLM против другой

Авторы проверили несколько защитных подходов: delimiters, self examination, in context learning, feature guidance и проверки known answer.

Универсального решения не нашлось. Например, для Llama feature guidance помогал против reasoning injection, а known answer оказался особенно эффективен против некоторых других вариантов атак. Поэтому исследователи собрали LSABRE, ансамбль из нескольких LLM.

Он работает в три этапа:
Detection → Prevention → Classification

Сначала несколько моделей ищут признаки манипуляции. Подозрительный контент получает дополнительную защиту. После этого основная модель выполняет классификацию.

В эксперименте LSABRE достиг 86,2% accuracy при атаке и сохранил FPR около 13%.

🔗 Исследование: https://arxiv.org/abs/2608.15893
🔗 GitHub LSABRE: https://github.com/runi-cyber-ai/LSABRE

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #BotDetection #PromptInjection #AISecurity #RedTeaming #CyberSecurity #SecureTechTalks

🧨 Google учит AI работать с зашифрованными данными

Fully Homomorphic Encryption (FHE) сохраняет данные зашифрованными даже во время вычислений.

Мы уже рассказывали про проблемы гомоморфного шифрования и федеративного обучения. Однако Google не стоит на месте и продолжает развивать технологию в виде открытого проекта HEIR, который должен упростить создание  приложений.

⚙️ Суть проекта

Разработчик описывает обычную программу. HEIR автоматически преобразует её так, чтобы вычисления выполнялись непосредственно над зашифрованными данными.

Получается цепочка:
данные → шифрование → AI или другая обработка → зашифрованный результат → расшифровка

Сервер работает с зашифрованной информацией и не получает исходные данные.

🧠 Зачем здесь AI

Такой подход особенно интересен для систем, где данные слишком чувствительны для передачи внешнему AI сервису.
Например:
🔹 банк отправляет транзакцию на анализ мошенничества, не раскрывая её содержимое;
🔹 SOC анализирует сетевые события, сохраняя данные клиентов зашифрованными;
🔹 медицинская система использует AI для анализа данных пациента без передачи модели открытой медицинской информации.

HEIR поддерживает несколько современных методов гомоморфного шифрования и умеет автоматически оптимизировать вычисления.

🔥 Главная проблема

Само шифрование уже существует. Главный барьер сейчас в том, что такие вычисления дорогие и сложные для разработчиков.

HEIR пытается спрятать большую часть криптографической сложности внутри компилятора. Разработчик описывает нужную логику, а система сама преобразует её в операции над зашифрованными данными.

Когда этот подход станет достаточно быстрым, появится интересная архитектура для корпоративного AI.
Модель получает данные, но инфраструктура вокруг неё не получает доступа к исходной информации.

🔗 GitHub: https://github.com/google/heir

🔗 Документация: https://heir.dev/

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #FHE #Privacy #Cryptography #Google #OpenSource #AISecurity #DataSecurity #SecureTechTalks

🧨 MITRE-SAGE: расследование киберинцидентов

LLM неплохо объясняет, что такое CVE или MITRE ATT&CK, но узкоспециализированных вопросов приходится одновременно искать факты, связывать сущности между собой и проверять несколько источников. Обычный RAG с набором текстовых чанков с этим справляется далеко не всегда.

⚙️ Команда вместо одного агента

Авторы MITRE-SAGE собрали многоагентную систему, где разные модели занимаются разными частями сбора информации.

🔹 Graph Agent ищет связи в графе на основе MITRE и NVD;

🔹 Text Agent извлекает информацию из документов;

🔹 Web Agent ищет свежие сведения в интернете;

🔹 отдельные агенты сокращают найденную информацию и отбрасывают нерелевантные данные;

🔹 Orchestrator решает, какие источники подключить, сравнивает результаты и формирует ответ.

Модель сначала разбивает вопрос на подзадачи, собирает доказательства из разных источников и только после этого отвечает.

🧠 Главное не количество агентов

Интересно, что авторы отдельно создали MITRE-QA, набор из 3000 вопросов по кибербезопасности.

В нём есть обычные вопросы о CVE и CWE, поиск сущностей, анализ связей, профилирование угроз и более сложные multi-hop задачи, где ответ приходится собирать из нескольких связанных фактов.

В результате MITRE-SAGE показал лучший результат в 5 из 8 задач, а на структурированном поиске знаний получил accuracy 89% против 31% у GPT-4.1.

На некоторых задачах преимущество доходило до 58%, а корректность генерируемых ответов улучшалась до 35,5% относительно наиболее сильного baseline.

🔥 Ресурсы

Система работает на относительно небольших open source моделях: оркестратор использует Qwen2.5-14B, остальные агенты работают на Qwen2.5-7B. Эксперимент запускался на одной NVIDIA A100 80 GB.

В данном подходе LLM становится скорее координатором, нежели энциклопедией, которая пытается всё вспомнить сама.

🔗 Исследование: arXiv 2608.16921

🔗 MITRE-QA: GitHub

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #RAG #MITREATTACK #ThreatIntelligence #SOC #AgenticAI #AISecurity #SecureTechTalks