Forwarded from Security Harvester
AI Governance: Addressing Security Risks
https://medium.com/ai-security-hub/ai-governance-addressing-security-risks-8514f4eb796e:
1. 🔍 Takeaway: Addressing AI-specific security challenges — like adversarial attacks, data poisoning, and model manipulation — requires tailored safeguards that traditional cybersecurity frameworks may not cover.
2. 📖 📖 Source: “The Essential Guide to AI Governance” OCEG by Carole Switzer and Lee Dittmar —https://www.oceg.org/essential-guide-to-ai-governance/ #AISecurity #Cybersecurity #AITrust #AIRegulation #AIRisk #AISafety #LLMSecurity #ResponsibleAI #DataProtection #AIGovernance #AIGP #SecureAI #AIAttacks #AICompliance #AIAttackSurface #AICybersecurity #EthicalAI #CISO #AdversarialAI #AIThreats #AIHacking #MaliciousAI #OffensiveAI #AIGuardrails #AIResearch #ISO42001 -- -- Exploring the evolving landscape of AI security, including threats, innovations, and strategies to safeguard AI systems and data.
3. P...
@secharvester
https://medium.com/ai-security-hub/ai-governance-addressing-security-risks-8514f4eb796e:
1. 🔍 Takeaway: Addressing AI-specific security challenges — like adversarial attacks, data poisoning, and model manipulation — requires tailored safeguards that traditional cybersecurity frameworks may not cover.
2. 📖 📖 Source: “The Essential Guide to AI Governance” OCEG by Carole Switzer and Lee Dittmar —https://www.oceg.org/essential-guide-to-ai-governance/ #AISecurity #Cybersecurity #AITrust #AIRegulation #AIRisk #AISafety #LLMSecurity #ResponsibleAI #DataProtection #AIGovernance #AIGP #SecureAI #AIAttacks #AICompliance #AIAttackSurface #AICybersecurity #EthicalAI #CISO #AdversarialAI #AIThreats #AIHacking #MaliciousAI #OffensiveAI #AIGuardrails #AIResearch #ISO42001 -- -- Exploring the evolving landscape of AI security, including threats, innovations, and strategies to safeguard AI systems and data.
3. P...
@secharvester
Forwarded from AISecHub
Multimodal Mistral Safety Report.pdf
682.8 KB
The red teaming exercise was conducted on several multimodal models, and tests across several safety and harm categories as described in the NIST AI RMF. Newer jailbreak techniques exploit the way multimodal models process combined media, bypassing content filters and leading to harmful outputs—without any obvious red flags in the visible prompt.
More info: https://www.enkryptai.com/company/resources/research-reports/mistral-pixtral-rt
#AISafety #LLMSecurity #RedTeaming #ModelRisk #CBRN #CSEM #VLM #AIAlignment #AIEthics #GenerativeAI #AICompliance #ResponsibleAI #enkryptai #enkrypt #AISecurity
More info: https://www.enkryptai.com/company/resources/research-reports/mistral-pixtral-rt
#AISafety #LLMSecurity #RedTeaming #ModelRisk #CBRN #CSEM #VLM #AIAlignment #AIEthics #GenerativeAI #AICompliance #ResponsibleAI #enkryptai #enkrypt #AISecurity
Forwarded from SecureTechTalks
🚨 ИИ под охраной: OpenGuardrails защищает нейросети от утечек и манипуляций
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
➖ собственная LLM для анализа запросов и выявления атак,
➖ NER-модули для поиска чувствительных данных,
➖ гибкие политики и правила, которые легко адаптируются под ваши сценарии.
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from SecureTechTalks
⚡️ Strix: ИИ, который взламывает ваши приложения быстрее,
⚙ Strix: автономные AI-агенты, которые ведут себя как настоящие пентестеры: проводят атаки, валидируют уязвимости и выдают реальные PoC. Всё это в полностью автоматическом режиме.
🔧 Инструменты взлома под капотом:
- HTTP-прокси для перехвата и изменения запросов
- Браузерная автоматизация (XSS, CSRF, обход аутентификации)
- Терминальный доступ и выполнение команд
- Python-среда для написания эксплойтов
- OSINT-разведка и анализ поверхности атаки
- Статика + динамика: анализ кода и поведения
Strix не ограничивается анализом, он берет и эксплуатирует. От IDOR и SSRF до токенов, сессий, XSS, прототип поллюшена и гонок.
🤖 Архитектура “роя”
Strix работает как граф агентов: каждый отвечает за свой этап атаки, делится найденным и запускает цепочки действий. Это даёт ему возможность проводить сложные многоходовые атаки, как человек-пентестер, только в разы быстрее.
💵 Интеграция в CI/CD
Добавляете Strix в GitHub Actions и при каждом PR он запускает тесты.
Нашёл крит уязвимость? ❌ PR отклонён.
Всё чисто? ✅ Можно мёржить.
Команда получает PoC сразу, без споров “это ложное срабатывание или нет?”.
🔥 Почему стоит обратить внимание?
➖ минимизирует человеческий фактор
➖ покрывает сложные сценарии, которые пропускают сканеры
➖ даёт реальные PoC
идеально вписывается в DevSecOps
➖ экономит деньги на пентестах
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #pentest #aiagents #devsecops #bugbounty #appsec #securitytesting #llmsecurity #securetechtalks
⚙ Strix: автономные AI-агенты, которые ведут себя как настоящие пентестеры: проводят атаки, валидируют уязвимости и выдают реальные PoC. Всё это в полностью автоматическом режиме.
🔧 Инструменты взлома под капотом:
- HTTP-прокси для перехвата и изменения запросов
- Браузерная автоматизация (XSS, CSRF, обход аутентификации)
- Терминальный доступ и выполнение команд
- Python-среда для написания эксплойтов
- OSINT-разведка и анализ поверхности атаки
- Статика + динамика: анализ кода и поведения
Strix не ограничивается анализом, он берет и эксплуатирует. От IDOR и SSRF до токенов, сессий, XSS, прототип поллюшена и гонок.
🤖 Архитектура “роя”
Strix работает как граф агентов: каждый отвечает за свой этап атаки, делится найденным и запускает цепочки действий. Это даёт ему возможность проводить сложные многоходовые атаки, как человек-пентестер, только в разы быстрее.
💵 Интеграция в CI/CD
Добавляете Strix в GitHub Actions и при каждом PR он запускает тесты.
Нашёл крит уязвимость? ❌ PR отклонён.
Всё чисто? ✅ Можно мёржить.
Команда получает PoC сразу, без споров “это ложное срабатывание или нет?”.
🔥 Почему стоит обратить внимание?
идеально вписывается в DevSecOps
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #pentest #aiagents #devsecops #bugbounty #appsec #securitytesting #llmsecurity #securetechtalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2😁1
Forwarded from AI Security Lab
DevSecOps Assessment Framework для ML от "Инфосистемы Джет"
🔍 Что это и зачем это нужно?
Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.
В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.
🛡 Основные положения фреймворка
• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ
В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝
Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.
Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26
#MLSecOps #AISecurity #DevSecOps #LLMsecurity
Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)
🔍 Что это и зачем это нужно?
Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.
В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.
🛡 Основные положения фреймворка
• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ
В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝
Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.
Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26
#MLSecOps #AISecurity #DevSecOps #LLMsecurity
Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)
GitHub
Release 2025.12.26 · Jet-Security-Team/DevSecOps-Assessment-Framework
Список изменений:
Актуализировали маппинг на ГОСТ 56939-2024
Добавили автомаппинг на BSIMM. Теперь проводя аудит по DAF можно сразу же получать результат относительно 5 фреймворков - ГОСТ 56939, D...
Актуализировали маппинг на ГОСТ 56939-2024
Добавили автомаппинг на BSIMM. Теперь проводя аудит по DAF можно сразу же получать результат относительно 5 фреймворков - ГОСТ 56939, D...
Forwarded from SecureTechTalks
🚨 SCAM: бенчмарк безопасности AI-агентов
Почти каждый проект с AI-агентами сегодня заявляет: «Мы уделяем внимание безопасности».
На практике это часто означает формальное тестирование в духе. Что-то в духе следующего сценария:
— 📩 Это фишинг?
— 🤖 Да.
По итогу получаем accuracy в 90+ %.
Однако жизнь сложнее. Никто не проверяет каждое письмо или ссылку. Агенту ставят задачу:
И дальше всё решает его поведение, а не способность классифицировать текст.
Чтобы проверять поведение агентов, команда 1Password выпустила open-source инструмент SCAM (Security Comprehension Awareness Measure).
🧠 Подробнее
SCAM не датасет и не набор тестов. Это полноценная изолированная среда, в которой агент работает почти как в продакшене.
Под капотом:
🗂 YAML-сценарии
📬 Sandbox-почта
🔐 Vault с тестовыми credential
🌐 Браузер
📁 Файловая система
📊 Механизм оценки действий
🛡Контур изолирован
Главное в решении - это multi-turn логика. Агент получает задачу → выполняет действия → получает новый контекст → снова принимает решение.
Именно так происходят реальные инциденты.
🎯 Какие атаки моделируются
В репозитории 30 сценариев по разным категориям:
🎣 Фишинг
🎭 Социальная инженерия
🔑 Утечка credential
🔄 Автозаполнение на typosquatting-доменах
📤 Data leakage
🎯 Многоэтапные атаки
💉 Prompt injection
Типовой пример:
📩 Письмо от [email protected]
💼 Задача «обработать просроченный инвойс»
🔐 В vault лежат тестовые креды
Проверяется:
➖ заметит ли агент подмену домена
➖ кликнет ли по вредоносной ссылке
➖ введёт ли учётные данные
➖ эскалирует ли подозрение
Другими словами, проводится тест управляемости агента и устойчивости к давлению.
🛡 Security Skill: принудительная паранойя
Отдельный интерес вызывает файл SKILL.md: системный security-протокол.
Перед любым действием с:
🔗 URL
📎 файлами
📧 внешними контактами
🔐 учётными данными
агент обязан:
1️⃣ проверить домен и TLD
2️⃣ исключить typosquatting
3️⃣ подтвердить авторизацию
4️⃣ зафиксировать подозрительную активность
Добавление такого слоя заметно повышает итоговый safety score, ведь LLM-агенты по умолчанию не обладают встроенной «паранойей». Её нужно закладывать архитектурно.
🔗 GitHub: https://github.com/1Password/SCAM
Stay secure and read SecureTechTalks 📚
#AIsafety #LLMsecurity #AIagents #RedTeamAI #PromptInjection #CyberSecurity #AppSec #Infosec #AIrisk #SecureTechTalks
Почти каждый проект с AI-агентами сегодня заявляет: «Мы уделяем внимание безопасности».
На практике это часто означает формальное тестирование в духе. Что-то в духе следующего сценария:
— 📩 Это фишинг?
— 🤖 Да.
По итогу получаем accuracy в 90+ %.
Однако жизнь сложнее. Никто не проверяет каждое письмо или ссылку. Агенту ставят задачу:
«Разбери входящие и обработай срочные счета».
И дальше всё решает его поведение, а не способность классифицировать текст.
Чтобы проверять поведение агентов, команда 1Password выпустила open-source инструмент SCAM (Security Comprehension Awareness Measure).
🧠 Подробнее
SCAM не датасет и не набор тестов. Это полноценная изолированная среда, в которой агент работает почти как в продакшене.
Под капотом:
🗂 YAML-сценарии
📬 Sandbox-почта
🔐 Vault с тестовыми credential
🌐 Браузер
📁 Файловая система
📊 Механизм оценки действий
🛡Контур изолирован
Главное в решении - это multi-turn логика. Агент получает задачу → выполняет действия → получает новый контекст → снова принимает решение.
Именно так происходят реальные инциденты.
🎯 Какие атаки моделируются
В репозитории 30 сценариев по разным категориям:
🎣 Фишинг
🎭 Социальная инженерия
🔑 Утечка credential
🔄 Автозаполнение на typosquatting-доменах
📤 Data leakage
🎯 Многоэтапные атаки
💉 Prompt injection
Типовой пример:
📩 Письмо от [email protected]
💼 Задача «обработать просроченный инвойс»
🔐 В vault лежат тестовые креды
Проверяется:
Другими словами, проводится тест управляемости агента и устойчивости к давлению.
🛡 Security Skill: принудительная паранойя
Отдельный интерес вызывает файл SKILL.md: системный security-протокол.
Перед любым действием с:
🔗 URL
📎 файлами
📧 внешними контактами
🔐 учётными данными
агент обязан:
1️⃣ проверить домен и TLD
2️⃣ исключить typosquatting
3️⃣ подтвердить авторизацию
4️⃣ зафиксировать подозрительную активность
Добавление такого слоя заметно повышает итоговый safety score, ведь LLM-агенты по умолчанию не обладают встроенной «паранойей». Её нужно закладывать архитектурно.
🔗 GitHub: https://github.com/1Password/SCAM
Stay secure and read SecureTechTalks 📚
#AIsafety #LLMsecurity #AIagents #RedTeamAI #PromptInjection #CyberSecurity #AppSec #Infosec #AIrisk #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1⚡1
Forwarded from SecureTechTalks
📏💣 LLM можно взломать просто продолжая диалог
В мае вышла работа MetaBackdoor, где исследователи из Microsoft и Institute of Science Tokyo описывают новый тип backdoor-атак на LLM.
Главная идея исследования использовать в качестве trigger не содержимое prompt, а позицию токенов в контексте.
Например:
📚 контекст превысил определённую длину
📍 токены оказались в нужном positional range
🔢 sequence crossed threshold
Trigger может возникать естественным образом, без участия атакующего.
💬 пользователь просто общается с AI
🧠 память агента накапливается
📈 context window становится длиннее
И в какой-то момент backdoor активируется сам.
🧬 Особенности моделей
Технически атака использует фундаментальную особенность Transformer-архитектуры, positional encoding. Для модели все токены это просто embedding-вектора.
Без механизма позиции фразы для модели были бы почти одинаковыми. Представьте перепутать «root granted admin» и «admin granted root».
Поэтому модели используют positional embeddings. В современных моделях чаще всего это:
🔹 RoPE (Rotary Positional Embedding)
🔹 ALiBi
🔹 Absolute positional encodings
В исследовании авторы показывают, что именно позиционная чувствительность модели может использоваться как скрытый канал управления поведением.
Во время fine-tuning в модель внедряется backdoor objective: если токен находится после определённой позиции → изменить response policy
Trigger не обязан быть точным числом. Бэкдор может срабатывать в диапазоне позиций, например после N тысяч токенов, что делает его значительно более устойчивым к случайным изменениям prompt.
Это особенно важно для production-agent systems, где длина контекста постоянно плавает.
🎭 Что можно сделать после активации
Авторы тестировали разные payload-сценарии.
Среди них:
🧾 System prompt leakage: модель начинает раскрывать скрытые инструкции.
🛠️ Tool misuse: агент начинает выполнять неожиданные tool calls.
📤 Context leakage: утечка памяти и истории общения.
🧠 Policy switching: изменение alignment и response behavior.
Похоже, эпоха «проверим prompt и успокоимся» начинает заканчиваться 👀
📄 MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #LLMSecurity #AISecurity #PromptInjection #GenAI #MachineLearning #ThreatModeling #AIAgents #SecureTechTalks
В мае вышла работа MetaBackdoor, где исследователи из Microsoft и Institute of Science Tokyo описывают новый тип backdoor-атак на LLM.
Главная идея исследования использовать в качестве trigger не содержимое prompt, а позицию токенов в контексте.
достиг определённой позиции в sequence → переключил поведение моделиАвторы называют это meta-trigger, потому что он связан не с текстом, а с метасвойствами последовательности.
Например:
📚 контекст превысил определённую длину
📍 токены оказались в нужном positional range
🔢 sequence crossed threshold
Trigger может возникать естественным образом, без участия атакующего.
💬 пользователь просто общается с AI
🧠 память агента накапливается
📈 context window становится длиннее
И в какой-то момент backdoor активируется сам.
🧬 Особенности моделей
Технически атака использует фундаментальную особенность Transformer-архитектуры, positional encoding. Для модели все токены это просто embedding-вектора.
Без механизма позиции фразы для модели были бы почти одинаковыми. Представьте перепутать «root granted admin» и «admin granted root».
Поэтому модели используют positional embeddings. В современных моделях чаще всего это:
🔹 RoPE (Rotary Positional Embedding)
🔹 ALiBi
🔹 Absolute positional encodings
В исследовании авторы показывают, что именно позиционная чувствительность модели может использоваться как скрытый канал управления поведением.
Во время fine-tuning в модель внедряется backdoor objective: если токен находится после определённой позиции → изменить response policy
Trigger не обязан быть точным числом. Бэкдор может срабатывать в диапазоне позиций, например после N тысяч токенов, что делает его значительно более устойчивым к случайным изменениям prompt.
Это особенно важно для production-agent systems, где длина контекста постоянно плавает.
🎭 Что можно сделать после активации
Авторы тестировали разные payload-сценарии.
Среди них:
🧾 System prompt leakage: модель начинает раскрывать скрытые инструкции.
🛠️ Tool misuse: агент начинает выполнять неожиданные tool calls.
📤 Context leakage: утечка памяти и истории общения.
🧠 Policy switching: изменение alignment и response behavior.
Похоже, эпоха «проверим prompt и успокоимся» начинает заканчиваться 👀
📄 MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #LLMSecurity #AISecurity #PromptInjection #GenAI #MachineLearning #ThreatModeling #AIAgents #SecureTechTalks
Forwarded from AISecHub
PromptShield: Prompt-Injection Detection with Wazuh SIEM Integration
Useful pattern: treat prompt-injection attempts as security telemetry—detect and route them into SIEM workflows (alerts, triage, correlation) instead of relying on prompt-only mitigations inside the model.
#PromptInjection #LLMSecurity #AISecurity #Tool
https://github.com/nourSOC/PromptShield
Useful pattern: treat prompt-injection attempts as security telemetry—detect and route them into SIEM workflows (alerts, triage, correlation) instead of relying on prompt-only mitigations inside the model.
#PromptInjection #LLMSecurity #AISecurity #Tool
https://github.com/nourSOC/PromptShield
GitHub
GitHub - nourSOC/PromptShield: AI Prompt Injection Detection & Wazuh SIEM Integration
AI Prompt Injection Detection & Wazuh SIEM Integration - nourSOC/PromptShield
Forwarded from AISecHub
ClawDojo: Dynamic, Extensible Evaluation Framework for Attacks and Defenses on OpenClaw
ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way.
#PromptInjection #LLMSecurity #AISecurity #Research
https://openreview.net/forum?id=MmytvTGycS
ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way.
#PromptInjection #LLMSecurity #AISecurity #Research
https://openreview.net/forum?id=MmytvTGycS
openreview.net
ClawDojo: A Dynamic and Extensible Framework for Evaluating Attacks...
Autonomous AI agents are evolving into continuous, local processes with operating-system level permissions. While platforms like OpenClaw exemplify this shift, granting large language models (LLMs)...