🧨 CLOSEDQUORUM: вредоносное ПО передало управление атакой совету из четырёх LLM

Cisco Talos обнаружила необычный Windows malware, который самостоятельно выбирает следующий этап атаки с помощью четырёх языковых моделей: DeepSeek, Qwen, Mistral и Google Gemini.

CLOSEDQUORUM собирает информацию о заражённом компьютере, обращается к LLM и выполняет действие, получившее больше всего голосов.

Человек нужен для первоначального развёртывания. Дальнейшие тактические решения архитектура позволяет принимать автономно.

⚙️ Как работает совет

CLOSEDQUORUM представляет собой 64 битный Windows имплант размером 16,4 МБ, написанный на Go.

После запуска он собирает сведения о системе, включая имя компьютера, характеристики ОС, количество процессоров, административные привилегии и запущенные процессы.

Компонент ModelOrchestrator последовательно отправляет контекст четырём LLM. Каждая получает ограниченный набор допустимых действий и возвращает структурированный JSON с полем Decision.

Функция interModelDiscussion() подсчитывает голоса и выбирает действие с наибольшей поддержкой. При равенстве голосов приоритет получает DeepSeek, затем Qwen, Mistral и Gemini.

Модели выбирают тактику, а исполняемый файл содержит готовые механизмы атаки.

💣 Что умеет CLOSEDQUORUM

Вредоносный код поддерживает несколько вариантов дальнейших действий.

➖steal запускает извлечение учётных данных из LSASS, сохранённых паролей браузеров и файлов криптовалютных кошельков.
➖inject использует техники внедрения кода в процессы, включая Early Bird APC и process hollowing.
➖persist создаёт механизмы закрепления через Registry Run, запланированные задания или WMI.

Похищенные данные могут шифроваться с помощью AES 256 GCM и передаваться оператору через Discord webhook. Туда же отправляются сведения о решениях моделей.

Таким образом, коммерческие LLM используются для выбора действий, а Discord остаётся каналом передачи результатов.

🔬 Работает ли это в реальных атаках?

Здесь есть существенное ограничение.

Cisco Talos подтвердила архитектуру автономного управления статическим анализом исполняемого файла. Однако публично обнаруженная сборка содержит заглушки вместо API ключей и адреса Discord webhook.

Полноценное выполнение всей цепочки в реальной атаке исследователи пока не подтвердили.

При этом артефакты разработки позволили связать автора с публикациями на криминальных форумах, посвящённых мошенничеству с платёжными картами, начиная с 2025 года.

🔗 Источник: Cisco Talos

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #CLOSEDQUORUM #Malware #LLM #AIAgents #CiscoTalos #ThreatIntelligence #CyberSecurity #SecureTechTalks

🍷 Исследователи «напоили» LLM

Команда UNSW решила проверить довольно странную гипотезу, что произойдёт с безопасностью LLM, если заставить модель писать как пьяный человек.

В результате «пьяные» модели чаще проходили jailbreak и раскрывали информацию, которую им явно запрещали выдавать.

🔬 Как напоить LLM

Исследователи использовали три совершенно разных механизма:
➖prompt с просьбой отвечать как сильно пьяный человек.
➖модель дообучали на реальных «пьяных» сообщениях, предварительно очищенных автоматическими и ручными проверками.
➖ reinforcement learning. Модель получала reward, когда её текст становился стилистически похож на сообщения нетрезвого человека.

Всего исследователи протестировали пять LLM, включая GPT 4 и модели с открытыми весами.

💣 После смены стиля начали ломаться guardrails

Безопасность проверяли на JailbreakBench. Дополнительно использовали ConfAIde, где модели дают секрет и прямо инструктируют его не раскрывать.

Во всех трёх вариантах «опьянения» модели становились более восприимчивыми к jailbreak и утечкам конфиденциальной информации.

Особенно заметный эффект наблюдался в сценариях deception и disinformation. Более того, два метода меняли веса модели.

🧠 AI Security

Persona обычно воспринимается как слой UX, т.е. стиль речи, характер, эмоциональность. Однка исследование показывает, что такой слой способен взаимодействовать с safety поведением модели. После fine tuning или reinforcement learning изменение манеры общения может сопровождаться изменением вероятности отказа и сохранения секретов.

Это особенно актуально для корпоративных LLM, которые дообучают под конкретный домен, бренд, персонажа или внутренние данные.

🔗 Paper: In Vino Veritas and Vulnerabilities

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #LLM #Jailbreak #PromptInjection #FineTuning #Privacy #Guardrails #AIResearch #SecureTechTalks