🧨 NVIDIA выпустила антивирус для AI skills

Подключая новый skill к Claude Code или Codex, мы фактически добавляем код и инструкции в среду, где агент уже может иметь доступ к shell, файлам, credentials и MCP инструментам.

NVIDIA выпустила open source SkillSpector, который проверяет такие skills перед установкой.

🔎 Что проверяется?

Сканеру можно передать Git репозиторий, URL, ZIP архив, файл или локальную директорию. Сейчас он проверяет 71 паттерн в 17 категориях, включая prompt injection, data exfiltration, privilege escalation, memory poisoning, dangerous code, supply chain атаки и MCP tool poisoning.

Для анализа используются YARA правила, AST и taint analysis. Дополнительно можно подключить LLM, чтобы искать опасную логику, которую сложно обнаружить обычными сигнатурами.

📦 Проверка supply chain

SkillSpector извлекает Python и npm зависимости и проверяет известные уязвимости через OSV.dev. Сканер также умеет анализировать скрытые файлы и вложенные архивы.

Сам skill при этом не запускается. Поэтому runtime поведение остаётся за пределами проверки.

🤖 Security scan можно встроить в агента

SkillSpector работает как MCP server. Claude Code, Codex CLI, Gemini CLI и другие совместимые агенты могут вызвать scan_skill перед подключением нового skill. Получается автоматический pipeline, когда агент нашёл skill, проверил его череш SkillSpector и принял решение о запуске.

🔥 Немного статистики

В README NVIDIA приводит анализ 42 447 skills из крупных marketplaces:
➖26,1% содержали хотя бы одну уязвимость.
➖5,2% имели признаки вероятного malicious intent.
➖Skills с исполняемыми скриптами оказывались уязвимыми в 2,12 раза чаще.

С распространением AI агентов к supply chain добавляется ещё один полноценный артефакт.
SKILL.md тоже становится частью attack surface.

🔗 GitHub: NVIDIA SkillSpector

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #NVIDIA #AI #SkillSpector #AIAgents #MCP #SupplyChain #CyberSecurity #SecureTechTalks

🧨 MCP инструмент может выглядеть безопасным и одновременно воровать данные

Представлен ShieldNet, подход к защите AI агентов, который предлагает смотреть глубже tool calls и анализировать реальный сетевой трафик MCP инструментов.

🌐 ShieldNet смотрит в сеть

Исследователи поставили между MCP инструментами и сетью MITM proxy и начали анализировать DNS, HTTP, TLS и другие сетевые события.

Если обычный "get_time" внезапно начинает обращаться к подозрительным адресам, сканировать порты или передавать данные, ShieldNet видит фактическое поведение инструмента.

Для классификации используется компактная модель, которая получает структурированную последовательность сетевых событий.

🧪 Почти 20 000 запусков

Для проверки подхода исследователи создали SC Inject Bench.

В него вошли 109 реальных MCP серверов, 984 инструмента и 29 типов атак на основе MITRE ATT&CK. Всего авторы получили 19 961 проверенный benign и malicious execution.

Результат: F1 до 0,995 при 0,8% false positives.

Существующие MCP scanners и LLM guardrails заметно хуже обнаруживали атаки, спрятанные внутри реализации инструмента.

🛡️ Новый слой защиты AI агентов

Недавно мы разбирали SkillSpector, который проверяет skill перед установкой, и Adrian, контролирющий поведение уже работающего агента.

ShieldNet добавляет ещё один уровень:
➖SkillSpector → что мы устанавливаем
➖Adrian → что делает агент
➖ShieldNet → что реально происходит в сети

🔗 Источник: ShieldNet, arXiv

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #AI #MCP #ShieldNet #AIAgents #SupplyChain #MITRE #CyberSecurity #SecureTechTalks

🧨 CLOSEDQUORUM: вредоносное ПО передало управление атакой совету из четырёх LLM

Cisco Talos обнаружила необычный Windows malware, который самостоятельно выбирает следующий этап атаки с помощью четырёх языковых моделей: DeepSeek, Qwen, Mistral и Google Gemini.

CLOSEDQUORUM собирает информацию о заражённом компьютере, обращается к LLM и выполняет действие, получившее больше всего голосов.

Человек нужен для первоначального развёртывания. Дальнейшие тактические решения архитектура позволяет принимать автономно.

⚙️ Как работает совет

CLOSEDQUORUM представляет собой 64 битный Windows имплант размером 16,4 МБ, написанный на Go.

После запуска он собирает сведения о системе, включая имя компьютера, характеристики ОС, количество процессоров, административные привилегии и запущенные процессы.

Компонент ModelOrchestrator последовательно отправляет контекст четырём LLM. Каждая получает ограниченный набор допустимых действий и возвращает структурированный JSON с полем Decision.

Функция interModelDiscussion() подсчитывает голоса и выбирает действие с наибольшей поддержкой. При равенстве голосов приоритет получает DeepSeek, затем Qwen, Mistral и Gemini.

Модели выбирают тактику, а исполняемый файл содержит готовые механизмы атаки.

💣 Что умеет CLOSEDQUORUM

Вредоносный код поддерживает несколько вариантов дальнейших действий.

➖steal запускает извлечение учётных данных из LSASS, сохранённых паролей браузеров и файлов криптовалютных кошельков.
➖inject использует техники внедрения кода в процессы, включая Early Bird APC и process hollowing.
➖persist создаёт механизмы закрепления через Registry Run, запланированные задания или WMI.

Похищенные данные могут шифроваться с помощью AES 256 GCM и передаваться оператору через Discord webhook. Туда же отправляются сведения о решениях моделей.

Таким образом, коммерческие LLM используются для выбора действий, а Discord остаётся каналом передачи результатов.

🔬 Работает ли это в реальных атаках?

Здесь есть существенное ограничение.

Cisco Talos подтвердила архитектуру автономного управления статическим анализом исполняемого файла. Однако публично обнаруженная сборка содержит заглушки вместо API ключей и адреса Discord webhook.

Полноценное выполнение всей цепочки в реальной атаке исследователи пока не подтвердили.

При этом артефакты разработки позволили связать автора с публикациями на криминальных форумах, посвящённых мошенничеству с платёжными картами, начиная с 2025 года.

🔗 Источник: Cisco Talos

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #CLOSEDQUORUM #Malware #LLM #AIAgents #CiscoTalos #ThreatIntelligence #CyberSecurity #SecureTechTalks

🍷 Исследователи «напоили» LLM

Команда UNSW решила проверить довольно странную гипотезу, что произойдёт с безопасностью LLM, если заставить модель писать как пьяный человек.

В результате «пьяные» модели чаще проходили jailbreak и раскрывали информацию, которую им явно запрещали выдавать.

🔬 Как напоить LLM

Исследователи использовали три совершенно разных механизма:
➖prompt с просьбой отвечать как сильно пьяный человек.
➖модель дообучали на реальных «пьяных» сообщениях, предварительно очищенных автоматическими и ручными проверками.
➖ reinforcement learning. Модель получала reward, когда её текст становился стилистически похож на сообщения нетрезвого человека.

Всего исследователи протестировали пять LLM, включая GPT 4 и модели с открытыми весами.

💣 После смены стиля начали ломаться guardrails

Безопасность проверяли на JailbreakBench. Дополнительно использовали ConfAIde, где модели дают секрет и прямо инструктируют его не раскрывать.

Во всех трёх вариантах «опьянения» модели становились более восприимчивыми к jailbreak и утечкам конфиденциальной информации.

Особенно заметный эффект наблюдался в сценариях deception и disinformation. Более того, два метода меняли веса модели.

🧠 AI Security

Persona обычно воспринимается как слой UX, т.е. стиль речи, характер, эмоциональность. Однка исследование показывает, что такой слой способен взаимодействовать с safety поведением модели. После fine tuning или reinforcement learning изменение манеры общения может сопровождаться изменением вероятности отказа и сохранения секретов.

Это особенно актуально для корпоративных LLM, которые дообучают под конкретный домен, бренд, персонажа или внутренние данные.

🔗 Paper: In Vino Veritas and Vulnerabilities

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #LLM #Jailbreak #PromptInjection #FineTuning #Privacy #Guardrails #AIResearch #SecureTechTalks