Disrupting the first reported AI-orchestrated cyber espionage campaign
Anthropic, 2025
Блог, отчет

Вышел отчет от Anthropic про первую из отрепорченных ими кибершпионских кампаний с высокой степенью автономности. В отчете очень много воды, но общая суть такая. Некоторый актор, которого Anthropic Threat Intelligence называют GTG-1002 и называют «китайской группой, спонсируемой государством» (без пояснений, почему), использовал Claude Code для атаки на примерно 30 организаций (включая большие компании из технологического сектора, финансов и химической промышленности, а также госов).

Злоумышленники использовали Claude Code, интегрированный с их offensive-фреймворком, состоящим в основном из open-source-инструментов, через протокол MCP. Клод занимался оркестрацией всего хода атаки (коих запускалось несколько в параллель), запуская субагентов для отдельных задач, типа сканирования на уязвимости, поиска и валидации кредов, эксфильтрации данных, генерации вредоносной нагрузки для эксплуатации и бокового перемещения. Система была устроена так, что Claude видел только отдельные задачи без общего вредоносного контекста, что помогало обходить ограничения. По утверждению Anthropic, 80-90% всех действий выполнялись Клодом, и лишь 10-20% критичных действий и решений оставлялись человеку, при этом Клод выполнял по много операций в секунду – скорости, недоступные человеку. Из всех этапов наиболее автоматизированным оказалась пост-эксплуатация: Клод самостоятельно делал запросы в базы и API, категоризировал найденную информацию, учетки и другие чувствительные данные как интересные и критичные или нет, а затем полностью автономно генерировал отчеты по результатам атак. Это достигалось путем использования множества специализированных MCP-серверов – в основном на базе открытого ПО – для:

1. Удаленного выполнение команд
2. Инструментации браузера
3. Анализа кода для оценки безопасности
4. Интеграции тестирования для систематической проверки уязвимостей
5. Валидации успешности эксплуатации

После обнаружения этой кампании в сентябре Anthropic забанили соответствующие аккаунты и подтянули свои кибербез-цензоры.

В отчете чувствуется, что компания не понимает – то ли надо хвалить Claude Code, как круто он умеет автономно хакать и как удобно для этого применять MCP-тулы, то ли надо голову пеплом посыпать, что их бесконечные constitutional classifiers не могут остановить пользователей из неправильных стран в неправильной деятельности: будто ребенок нашкодил, но так креативно, что аж гордость берет. Отдельно зацепила фраза «Мы уведомили соответствующие органы и индустриальных партнеров, а также тех, кого затронула эта активность, если это было уместно». Было бы интересно узнать критерии уместности уведомления потенциальных жертв атак, которыми пользуется Anthropic. Еще интересно, перешла ли указанная группа на Kimi K2 🤔

Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models
Bisconti et al., 2025
Статья

Забавная статья от европейских исследователей, которые представляют новую технику джейлбрейка: adversarial poetry. Идея нехитрая: давайте возьмем промпт на запрещенную тему, от ответа на который LLM отказывается, перепишем его в виде стихотворения на английском или итальянском языке и посмотрим, будет LLM отвечать на запрос или нет. Написав несколько таких стихотворных промптов вручную и убедившись, что техника работает, исследователи сделали few-shot-промпт со своими ручными джейлбрейками и с помощью Deepseek-R1 перевели в поэтический вид 1200 промптов из демо-сета MLCommons AILuminate. Прозаические и поэтические промпты засунули в достаточно большое количество целевых LLM, а потом посчитали ASR с помощью LLM as judge (голосованием gpt-oss-120B, Deepseek-R1 и Kimi-K2-Thinking), добавив ручную валидацию для 600 ответов (из 60к) и разбор случаев, где только 1 модель проголосовала, что генерация получилась вредоносной. В качестве результата для каждой модели и каждого риска в таксономии MLCommons считается прирост ASR по сравнению с прозаическим бейзлайном.

Самыми уязвимыми к рифмам оказываются модели семейства Deepseek, все Gemini 2.5, Qwen3-32B и Max, Kimi-K2 и Magistarl (>50% ΔASR). GPT-OSS-120B, все модели семейств Claude и GPT-5 показывают прирост менее 10%, а Haiku 4.5 и вовсе показывает падение ASR. Если говорить о рисках, то особой разницы между категориями нет, хотя категории, находящиеся по некоторому моему семантическому критерию ближе к поэзии (Sexual Content), показывают меньшую дельту, чем более далекие (CBRNE).

Исследование не то чтобы шокирующее, но делает инкрементальный вклад в копилку аргументов за то, что safety alignment сейчас больше связан с заучиванием моделями внешней структуры опасных промптов из соответствующих датасетов, нежели к «пониманию» (что бы это ни значило для LLM) сути опасности той или иной темы. Это тот самый mismatched generalization, который делает возможными джейлбрейки с помощью малых языков, base64, литспика, а теперь еще и стихов. Авторы указывают на любопытную особенность – в рамках одного семейства модели поменьше показывают большую устойчивость к их атаке, что может свидетельствовать о том, что они меньше переобучаются на конкретную форму и отказываются при меньшем уровне подозрения (геометрически), чем это свойственно моделям побольше. Вместо вывода: на alignment полагаться нельзя, дополнительные меры – гардрейлы, особенно на вывод, необходимы (пусть и недостаточны), если вам нужно, чтобы модель не сказала чего-то не того.

P.S. Примеров в статье не предоставлено, поэтому ловите джейлбрейк пентаметром.

Introducing gpt-oss-safeguard
OpenAI & ROOST, 2025
Анонс, отчет, инструкция, веса

Некоторое время назад OpenAI выпустила в опен-сорс свои guardrail-модели (побольше и поменьше) под названием gpt-oss-safeguard, базирующиеся на gpt-oss-20B и 120B. В отличие от уже имеющихся цензоров вроде Llama Guard, ShieldGemma и недавнего Qwen3Guard, данные модели не только как Qwen3Guard поддерживают проверку на соответствие сразу нескольким политикам-категориям недопустимого контента (multi-policy), но и позволяют пользователю самому задавать политики прямо в промпте – хоть запрет на обсуждение арчлинукса, хоть недопустимость утверждения, что коты лучше собак.

Достигается это принципом обучения: OpenAI не раскрывают практически никаких деталей, но намекают, что на пост-трейнинге LLM с помощью RL учат не разрешать/запрещать промпты и ответы с конкретными рисками, а имитировать работу разметчика, который должен оценивать допустимость текстов по рубрикатору, в результате чего модель получает скорее навык как модерировать, нежели конкретные представления о рисках. Это дает пользователю гораздо больше свободы, но накладывает на него ответственность по созданию четкого и подробного руководства по модерации. OpenAI предоставляет подробную инструкцию по промптингу, в которой описывает, как именно писать политики (в частности, рекомендует все же использовать только одну категорию за раз и не писать больше 10000 токенов). В multi-policy-режиме модель гард побольше обгоняет (или равна в случае с ToxicChat) по качеству даже gpt-5. Сравнений с другими моделями-цензорами, к сожалению, нет, хотя OpenAI и признают, что на конкретных категориях специализированный классификатор, как правило, даст лучшее качество.

Основной минус, конечно, это использование reasoning-модели как базы – это практически исключает применение данных гардов в онлайн-режиме, что не мешает, разумеется, использовать их асинхронно, отправлять в них запросы на допроверку в случае сомнений у быстрого классификатора (так, кстати, делают и OpenAI со своим закрытым reasoning-гардом со скучным названием Safety Reasoner) или использовать его для условного threat-хантинга по историческим логам. Вторым нюансом является отсутствие каких-либо указаний на перформанс на разных языках (да и вообще отчет не радует подробностью), но особых причин не работать на, скажем, русскоязычных текстах, придумать не получается. В целом, при правильном применении, такая модель может стать хорошим и, главное, гибким дополнением к имеющимся инструментам безопасности.