🔍 Доклады конференции по кибербезопасности Black Hat 2024: Уязвимости и риски AI
⚠️ Уязвимость AI-ассистента Microsoft Copilot
Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.
🔒 Доклад NVIDIA: Критические уязвимости в LLM
Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.
🛡️ Глубокие бэкдоры в AI-агентах
На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии
⚠️ Уязвимость AI-ассистента Microsoft Copilot
Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.
🔒 Доклад NVIDIA: Критические уязвимости в LLM
Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.
🛡️ Глубокие бэкдоры в AI-агентах
На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии
👍1
🧨 NVIDIA выпустила антивирус для AI skills
Подключая новый skill к Claude Code или Codex, мы фактически добавляем код и инструкции в среду, где агент уже может иметь доступ к shell, файлам, credentials и MCP инструментам.
NVIDIA выпустила open source SkillSpector, который проверяет такие skills перед установкой.
🔎 Что проверяется?
Сканеру можно передать Git репозиторий, URL, ZIP архив, файл или локальную директорию. Сейчас он проверяет 71 паттерн в 17 категориях, включая prompt injection, data exfiltration, privilege escalation, memory poisoning, dangerous code, supply chain атаки и MCP tool poisoning.
Для анализа используются YARA правила, AST и taint analysis. Дополнительно можно подключить LLM, чтобы искать опасную логику, которую сложно обнаружить обычными сигнатурами.
📦 Проверка supply chain
SkillSpector извлекает Python и npm зависимости и проверяет известные уязвимости через OSV.dev. Сканер также умеет анализировать скрытые файлы и вложенные архивы.
Сам skill при этом не запускается. Поэтому runtime поведение остаётся за пределами проверки.
🤖 Security scan можно встроить в агента
SkillSpector работает как MCP server. Claude Code, Codex CLI, Gemini CLI и другие совместимые агенты могут вызвать
🔥 Немного статистики
В README NVIDIA приводит анализ 42 447 skills из крупных marketplaces:
➖ 26,1% содержали хотя бы одну уязвимость.
➖ 5,2% имели признаки вероятного malicious intent.
➖ Skills с исполняемыми скриптами оказывались уязвимыми в 2,12 раза чаще.
С распространением AI агентов к supply chain добавляется ещё один полноценный артефакт.
SKILL.md тоже становится частью attack surface.
🔗 GitHub: NVIDIA SkillSpector
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #NVIDIA #AI #SkillSpector #AIAgents #MCP #SupplyChain #CyberSecurity #SecureTechTalks
Подключая новый skill к Claude Code или Codex, мы фактически добавляем код и инструкции в среду, где агент уже может иметь доступ к shell, файлам, credentials и MCP инструментам.
NVIDIA выпустила open source SkillSpector, который проверяет такие skills перед установкой.
🔎 Что проверяется?
Сканеру можно передать Git репозиторий, URL, ZIP архив, файл или локальную директорию. Сейчас он проверяет 71 паттерн в 17 категориях, включая prompt injection, data exfiltration, privilege escalation, memory poisoning, dangerous code, supply chain атаки и MCP tool poisoning.
Для анализа используются YARA правила, AST и taint analysis. Дополнительно можно подключить LLM, чтобы искать опасную логику, которую сложно обнаружить обычными сигнатурами.
📦 Проверка supply chain
SkillSpector извлекает Python и npm зависимости и проверяет известные уязвимости через OSV.dev. Сканер также умеет анализировать скрытые файлы и вложенные архивы.
Сам skill при этом не запускается. Поэтому runtime поведение остаётся за пределами проверки.
🤖 Security scan можно встроить в агента
SkillSpector работает как MCP server. Claude Code, Codex CLI, Gemini CLI и другие совместимые агенты могут вызвать
scan_skill перед подключением нового skill. Получается автоматический pipeline, когда агент нашёл skill, проверил его череш SkillSpector и принял решение о запуске.🔥 Немного статистики
В README NVIDIA приводит анализ 42 447 skills из крупных marketplaces:
С распространением AI агентов к supply chain добавляется ещё один полноценный артефакт.
SKILL.md тоже становится частью attack surface.
🔗 GitHub: NVIDIA SkillSpector
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #NVIDIA #AI #SkillSpector #AIAgents #MCP #SupplyChain #CyberSecurity #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1