🛡️ Обеспечение безопасности ответов в больших языковых моделях (LLM) 🛡️
Управление доступом к данным для ответов в больших языковых моделях (LLM) требует применения нескольких стратегий для обеспечения безопасности и контроля доступа. Вот ключевые практики, описывающие их реализацию:
🔐 Контроль доступа на основе ролей (RBAC)
Использование RBAC позволяет ограничить доступ к данным на основе ролей пользователей. Подход гарантирует, что пользователи получают доступ только к информации, которую они имеют право видеть. Например, в запросах могут использоваться токены сессий пользователей для проверки разрешений перед возвратом данных из векторной базы данных.
📜 Безопасность подсказок
Избегайте включения конфиденциальной информации в подсказки. Такие данные, как пароли, API-ключи или любая информация, не предназначенная для текущего пользователя, не должны включаться в шаблон системных подсказок. Это снижает риск атак на извлечение подсказок, когда неавторизованные пользователи могут получить доступ к закрытым данным.
🔍 Архитектура Retrieval-Augmented Generation (RAG)
Используйте архитектуры RAG для хранения конфиденциальных данных вне тренировочного набора LLM. Вместо обучения модели на конфиденциальных документах, LLM запрашивает безопасное хранилище документов, которое проверяет разрешения пользователя перед предоставлением релевантной информации. Таким образом, конфиденциальные данные извлекаются только в случае авторизации пользователя, поддерживая разделение между LLM и конфиденциальными данными.
⚖️ Ограничение частоты запросов и логирование
Внедрение ограничения частоты запросов минимизирует риск извлечения конфиденциальных данных через повторные запросы. Кроме того, ведите детализированные логи подсказок и ответов, храня их в безопасном месте и мониторя для обнаружения подозрительных паттернов доступа.
💾 Использование векторных баз данных
Включайте векторные базы данных, поддерживающие RBAC и другие меры безопасности. Такие базы данных спроектированы для работы с сложными требованиями LLM-приложений, гарантируя, что при инференсе возвращаются только авторизованные данные.
📚 Дополнительные материалы по теме
- Лучшие практики для обеспечения безопасности LLM-приложений | NVIDIA Technical Blog
- Retrieval-Augmented Generation: как использовать ваши данные для управления LLM | Outerbounds
- RAG 101: Ответы на вопросы по Retrieval-Augmented Generation | NVIDIA Technical Blog
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #LLM #RBAC #RAG #SecureTechTalks #БезопасностьДанных #Авторизация #Инновации
Управление доступом к данным для ответов в больших языковых моделях (LLM) требует применения нескольких стратегий для обеспечения безопасности и контроля доступа. Вот ключевые практики, описывающие их реализацию:
🔐 Контроль доступа на основе ролей (RBAC)
Использование RBAC позволяет ограничить доступ к данным на основе ролей пользователей. Подход гарантирует, что пользователи получают доступ только к информации, которую они имеют право видеть. Например, в запросах могут использоваться токены сессий пользователей для проверки разрешений перед возвратом данных из векторной базы данных.
📜 Безопасность подсказок
Избегайте включения конфиденциальной информации в подсказки. Такие данные, как пароли, API-ключи или любая информация, не предназначенная для текущего пользователя, не должны включаться в шаблон системных подсказок. Это снижает риск атак на извлечение подсказок, когда неавторизованные пользователи могут получить доступ к закрытым данным.
🔍 Архитектура Retrieval-Augmented Generation (RAG)
Используйте архитектуры RAG для хранения конфиденциальных данных вне тренировочного набора LLM. Вместо обучения модели на конфиденциальных документах, LLM запрашивает безопасное хранилище документов, которое проверяет разрешения пользователя перед предоставлением релевантной информации. Таким образом, конфиденциальные данные извлекаются только в случае авторизации пользователя, поддерживая разделение между LLM и конфиденциальными данными.
⚖️ Ограничение частоты запросов и логирование
Внедрение ограничения частоты запросов минимизирует риск извлечения конфиденциальных данных через повторные запросы. Кроме того, ведите детализированные логи подсказок и ответов, храня их в безопасном месте и мониторя для обнаружения подозрительных паттернов доступа.
💾 Использование векторных баз данных
Включайте векторные базы данных, поддерживающие RBAC и другие меры безопасности. Такие базы данных спроектированы для работы с сложными требованиями LLM-приложений, гарантируя, что при инференсе возвращаются только авторизованные данные.
📚 Дополнительные материалы по теме
- Лучшие практики для обеспечения безопасности LLM-приложений | NVIDIA Technical Blog
- Retrieval-Augmented Generation: как использовать ваши данные для управления LLM | Outerbounds
- RAG 101: Ответы на вопросы по Retrieval-Augmented Generation | NVIDIA Technical Blog
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #LLM #RBAC #RAG #SecureTechTalks #БезопасностьДанных #Авторизация #Инновации
Использование Retrieval-Augmented Generation (RAG) для повышения уровня кибербезопасности
Retrieval-Augmented Generation (RAG) – технология, которая позволяет существенно улучшить системы кибербезопасности. RAG сочетает в себе возможности генеративных моделей и поиска информации для создания точных и информативных ответов на запросы.
❓Как работает RAG?
1. Поиск информации (Retrieval):
- Сначала система ищет релевантные документы в базе данных или других источниках 📚.
Подробнее читайте здесь.
- Такие документы содержат потенциально полезную информацию для ответа на запрос.
2. Генерация текста (Generation):
- Затем система использует генеративную модель, чтобы сформулировать ответ, основываясь на найденной информации 🧠.
Подробности тут.
- Это позволяет получать более точные и контекстуальные ответы по сравнению с обычными генеративными моделями.
🛡Применение RAG в кибербезопасности
RAG может использоваться для множества задач в области кибербезопасности, включая:
- Анализ угроз: Быстрое получение информации о новых угрозах из различных источников данных 🛡️.
Примеры использования здесь
- Обучение сотрудников: Создание обучающих материалов и ответов на часто задаваемые вопросы по безопасности 📖.
- Инцидент-менеджмент: Обработка и анализ данных по инцидентам безопасности, чтобы быстро реагировать на них ⚡.
Подробнее об инцидент-менеджменте здесь
💵 Преимущества RAG
- Высокая точность: За счет использования релевантных данных из внешних источников, ответы становятся более точными ✅.
- Контекстуальность: Система учитывает контекст запроса, что позволяет генерировать более осмысленные ответы 🧩.
- Скорость: Быстрое извлечение и анализ информации помогает сэкономить время при обработке запросов ⏱️.
Использование RAG открывает новые возможности для создания эффективных систем кибербезопасности, улучшая их точность и скорость реакции на угрозы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #инновации #RAG #технологии #SecureTechTalks
Retrieval-Augmented Generation (RAG) – технология, которая позволяет существенно улучшить системы кибербезопасности. RAG сочетает в себе возможности генеративных моделей и поиска информации для создания точных и информативных ответов на запросы.
❓Как работает RAG?
1. Поиск информации (Retrieval):
- Сначала система ищет релевантные документы в базе данных или других источниках 📚.
Подробнее читайте здесь.
- Такие документы содержат потенциально полезную информацию для ответа на запрос.
2. Генерация текста (Generation):
- Затем система использует генеративную модель, чтобы сформулировать ответ, основываясь на найденной информации 🧠.
Подробности тут.
- Это позволяет получать более точные и контекстуальные ответы по сравнению с обычными генеративными моделями.
🛡Применение RAG в кибербезопасности
RAG может использоваться для множества задач в области кибербезопасности, включая:
- Анализ угроз: Быстрое получение информации о новых угрозах из различных источников данных 🛡️.
Примеры использования здесь
- Обучение сотрудников: Создание обучающих материалов и ответов на часто задаваемые вопросы по безопасности 📖.
- Инцидент-менеджмент: Обработка и анализ данных по инцидентам безопасности, чтобы быстро реагировать на них ⚡.
Подробнее об инцидент-менеджменте здесь
💵 Преимущества RAG
- Высокая точность: За счет использования релевантных данных из внешних источников, ответы становятся более точными ✅.
- Контекстуальность: Система учитывает контекст запроса, что позволяет генерировать более осмысленные ответы 🧩.
- Скорость: Быстрое извлечение и анализ информации помогает сэкономить время при обработке запросов ⏱️.
Использование RAG открывает новые возможности для создания эффективных систем кибербезопасности, улучшая их точность и скорость реакции на угрозы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #инновации #RAG #технологии #SecureTechTalks
🛡 CyberRAG — это передовой инструмент, объединяющий искусственный интеллект (ИИ) и структурированный подход для повышения качества обучения кибербезопасности. Используя технологии Retrieval-Augmented Generation (RAG) и онтологии знаний, система обеспечивает точные и безопасные ответы на сложные вопросы.
🧠 CyberRAG был создан для решения двух ключевых проблем образовательного процесса:
1. Недостаточная точность: Стандартные языковые модели часто дают недостоверные ответы ("галлюцинации").
2. Ограниченность знаний: Классические системы не всегда охватывают специфические аспекты кибербезопасности.
🧩 CyberRAG объединяет подходы RAG и онтологию знаний:
- RAG: Извлекает данные из базы знаний и использует их для создания точных и обоснованных ответов.
- Онтология знаний: Проверяет ответы на соответствие правилам и концепциям безопасности.
🔍 Интеграция с базами данных: Использует такие источники, как CyberQ и AISecKG, которые содержат структурированную информацию об атаках и методах защиты.
Способен находить ответы даже на вопросы, которые не охватываются материалами.
📝 Генерация ответов:
- Комбинирует информацию из базы знаний с возможностями языковой модели для создания точных и понятных объяснений.
- Автоматически корректирует данные, проверяя их через онтологию.
🔒 Онтологическая валидация:
Проверяет ответы с использованием заранее заданных правил, устраняя недостоверную информацию.
🎓 Преимущества для студентов и преподавателей
✨ Надёжность: CyberRAG гарантирует высокую точность благодаря онтологической проверке данных.
✨ Поддержка самообучения: Студенты могут задавать сложные вопросы и получать детализированные ответы, основанные на актуальных данных.
✨ Гибкость: Инструмент адаптируется к различным уровням сложности, от базовых понятий до сложных сценариев атак и защиты.
⚡️ Применение CyberRAG на практике
🔗 Анализ уязвимостей: Помогает понять, как оценивать уязвимости и разрабатывать стратегии их устранения.
🔗 Обучение защите: Даёт возможность изучать атаки, их последствия и методы защиты.
🔗 Проверка гипотез: Позволяет проверять гипотезы на основе фактических данных, делая процесс обучения более практическим.
📈 В тестах CyberRAG показал высокую точность ответов, превосходя классические системы. Даже при отсутствии данных в базе знаний инструмент успешно создавал обоснованные ответы с использованием генеративной модели.
🚀 Подробнее с CyberRAG можно ознакомиться по ссылке.
Stay secure and read SecureTechTalks 📚
#CyberSecurity #Education #AI #CyberRAG #RAG #Кибербезопасность #SecureTechTalks #Обучение #Онтология #OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Как защитить ИИ-агентов от взлома: скрытые угрозы и советы по безопасности
🚀 ИИ-агенты захватывают мир бизнеса, помогая автоматизировать общение с клиентами, обрабатывать запросы и находить решения за секунды. Но что, если злоумышленники смогут использовать этих помощников против вас? В этом посте разберём угрозы безопасности в системах Retrieval Augmented Generation (RAG) и дадим советы по защите ваших ИИ-агентов.
⚠️ Опасности, которые подстерегают ИИ-агентов:
💀 1. Атаки через вредоносные данные:
Злоумышленники могут внедрить фальшивую информацию в базы знаний агента. В результате он начнёт отвечать неправильно, давать опасные советы или раскрывать конфиденциальную информацию.
💣 2. Уязвимости в генерации ответов:
Даже с безопасными данными агент может сформировать вредоносный ответ из-за плохих настроек модели или отсутствия ограничений.
🕵️ 3. Атаки через промпты (Prompt Injection):
Злоумышленники могут обмануть агента, заставив его игнорировать защитные фильтры и раскрывать скрытые данные.
🛡️ Как обезопасить ИИ-агентов: ТОП-5 рекомендаций
✅ 1. Фильтрация данных перед загрузкой:
📊 Проверяйте информацию перед добавлением в базу знаний. Используйте алгоритмы для выявления вредоносного контента и автоматические сканеры безопасности.
✅ 2. Мониторинг активности агента:
📈 Логируйте все взаимодействия: кто задаёт вопросы, какие ответы даёт агент. Это поможет выявить подозрительную активность и предотвратить атаки.
✅ 3. Обучение на безопасных данных:
💾 Используйте только проверенные и очищенные датасеты для обучения моделей. Это снизит риск появления неадекватных или опасных ответов.
✅ 4. Внедрение ограничений:
🚫 Установите запреты на определённые темы или команды. Агенты не должны иметь доступа к критически важным функциям системы или выполнять опасные команды.
✅ 5. Регулярное обновление защиты:
🛡️ Патчите уязвимости в модели и инфраструктуре. Проводите регулярные пентесты системы, чтобы выявлять слабые места до того, как их найдут злоумышленники.
📊 Интересный факт:
📉 По данным Cybersecurity Ventures, к 2025 году глобальные потери от кибератак с использованием ИИ достигнут $10,5 трлн. Это значит, что защита ИИ-агентов — не опция, а необходимость!
💡 Post Scriptum
ИИ-агенты — это мощный инструмент, но без защиты они могут стать точкой входа для хакеров. Внедряйте фильтрацию данных, ограничивайте доступ к функциям и не забывайте про мониторинг активности. Чем раньше вы укрепите защиту, тем меньше шансов, что ваш ИИ-агент будет использоваться против вас.
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #ИИАгенты #RAG #LLM #AI #ЗащитаДанных #ИнформационнаяБезопасность #PromptInjection #SecureTechTalks #AIhacking
🚀 ИИ-агенты захватывают мир бизнеса, помогая автоматизировать общение с клиентами, обрабатывать запросы и находить решения за секунды. Но что, если злоумышленники смогут использовать этих помощников против вас? В этом посте разберём угрозы безопасности в системах Retrieval Augmented Generation (RAG) и дадим советы по защите ваших ИИ-агентов.
⚠️ Опасности, которые подстерегают ИИ-агентов:
💀 1. Атаки через вредоносные данные:
Злоумышленники могут внедрить фальшивую информацию в базы знаний агента. В результате он начнёт отвечать неправильно, давать опасные советы или раскрывать конфиденциальную информацию.
💣 2. Уязвимости в генерации ответов:
Даже с безопасными данными агент может сформировать вредоносный ответ из-за плохих настроек модели или отсутствия ограничений.
🕵️ 3. Атаки через промпты (Prompt Injection):
Злоумышленники могут обмануть агента, заставив его игнорировать защитные фильтры и раскрывать скрытые данные.
🛡️ Как обезопасить ИИ-агентов: ТОП-5 рекомендаций
✅ 1. Фильтрация данных перед загрузкой:
📊 Проверяйте информацию перед добавлением в базу знаний. Используйте алгоритмы для выявления вредоносного контента и автоматические сканеры безопасности.
✅ 2. Мониторинг активности агента:
📈 Логируйте все взаимодействия: кто задаёт вопросы, какие ответы даёт агент. Это поможет выявить подозрительную активность и предотвратить атаки.
✅ 3. Обучение на безопасных данных:
💾 Используйте только проверенные и очищенные датасеты для обучения моделей. Это снизит риск появления неадекватных или опасных ответов.
✅ 4. Внедрение ограничений:
🚫 Установите запреты на определённые темы или команды. Агенты не должны иметь доступа к критически важным функциям системы или выполнять опасные команды.
✅ 5. Регулярное обновление защиты:
🛡️ Патчите уязвимости в модели и инфраструктуре. Проводите регулярные пентесты системы, чтобы выявлять слабые места до того, как их найдут злоумышленники.
📊 Интересный факт:
📉 По данным Cybersecurity Ventures, к 2025 году глобальные потери от кибератак с использованием ИИ достигнут $10,5 трлн. Это значит, что защита ИИ-агентов — не опция, а необходимость!
💡 Post Scriptum
ИИ-агенты — это мощный инструмент, но без защиты они могут стать точкой входа для хакеров. Внедряйте фильтрацию данных, ограничивайте доступ к функциям и не забывайте про мониторинг активности. Чем раньше вы укрепите защиту, тем меньше шансов, что ваш ИИ-агент будет использоваться против вас.
Stay secure and read SecureTechTalks 📚
#Кибербезопасность #ИИАгенты #RAG #LLM #AI #ЗащитаДанных #ИнформационнаяБезопасность #PromptInjection #SecureTechTalks #AIhacking
🧠 Как далеко продвинулись ИИ в экспертизе кибербезопасности?
⚡ В эпоху ChatGPT, Gemini и других LLM возникает закономерный вопрос: а могут ли ИИ действительно стать полноценными киберэкспертами?
Исследователи из лаборатории Zhongguancun и университета Цинхуа не стали гадать и создали CSEBenchmark — самый глубокий на сегодня тест для LLM в сфере кибербезопасности.
📚 Что такое CSEBenchmark?
CSEBenchmark — это:
➖ 345 кибер-навыков, которые должен знать специалист
➖ 7 ключевых доменов знаний: от основ IT до облаков и программирования
➖ 11 050 вопросов (да, серьёзно!)
➖ Учёт разных типов знаний: фактические, концептуальные, процедурные
➖ Подготовка с использованием GPT-4, но с ручной проверкой — 772 часа труда!
⚙️ Кого тестировали?
12 моделей, включая:
GPT-4o, GPT-4-Turbo, GPT-3.5
LLaMA 3.1, 3.2
Deepseek V3, Deepseek R1
Qwen 2.5
Mixtral и другие
Были учтены не только точность ответов, но и устойчивость к перетасовке вариантов, тип взаимодействия (Zero/Few/CoT-shot) и даже семантическая нагрузка вопросов.
🏆 Результаты: кто справился?
🥇GPT-4o — лидер среди закрытых моделей с точностью 85.42%
🥈Deepseek-V3 — топ среди open-source (84.92%)
🥉Qwen-2.5-72B — золотая середина между качеством и размером (84.4%)
👌Остальные модели отстали — до 52.95% точности
Но даже лучшие модели покрывают лишь 70%–75% знаний, необходимых для работы реального специалиста.
🚧 Где проваливаются LLM?
➖ Процедурные знания (использование инструментов, команд, эксплуатация уязвимостей) — самое слабое место
Wireshark, nmap, Metasploit, Burp Suite, SQL — часто ошибаются
➖ Даже базовые вещи вроде различий между P2P и локальной аутентификацией даются с трудом
➖ Прямо сейчас ни одна модель не справляется на уровне Senior Security Engineer
📈 А можно ли ИИ улучшить?
Да! Использовав выявленные пробелы, исследователи применили Retrieval-Augmented Generation (RAG):
- Векторная база знаний на основе Milvus
- Автоматическая подгрузка недостающего контекста
- Улучшение точности до 84% на задачах уязвимостей и анализа угроз
- Особенно эффективно для моделей средней мощности (LLaMA 3.2, 3.1)
👩💻 Как модели соответствуют реальным вакансиям?
Оценивалось соответствие знаниям, требуемым на позициях в:
- Google (Intelligence Analyst, Red Team Consultant)
- Amazon (Privacy Engineer, Security Engineer)
- Microsoft (Red Team Security Engineer)
Ни одна модель не набрала более 90% соответствия. Самые близкие к требованиям — GPT-4o и Deepseek-V3, но у каждой модели своя “зона силы”.
🔍 Выводы
➖ LLM уже умеют многое, но пока они — скорее ассистенты, чем эксперты
➖ Без прокачки процедурных навыков им не стать полноценными аналитиками
➖ Модель нужно выбирать под конкретную роль, а не по хайпу
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #LLM #AI #Benchmark #CSEBenchmark #GPT4 #Deepseek #RAG #RedTeam #SOC #InfoSec #ChatGPT
⚡ В эпоху ChatGPT, Gemini и других LLM возникает закономерный вопрос: а могут ли ИИ действительно стать полноценными киберэкспертами?
Исследователи из лаборатории Zhongguancun и университета Цинхуа не стали гадать и создали CSEBenchmark — самый глубокий на сегодня тест для LLM в сфере кибербезопасности.
📚 Что такое CSEBenchmark?
CSEBenchmark — это:
⚙️ Кого тестировали?
12 моделей, включая:
GPT-4o, GPT-4-Turbo, GPT-3.5
LLaMA 3.1, 3.2
Deepseek V3, Deepseek R1
Qwen 2.5
Mixtral и другие
Были учтены не только точность ответов, но и устойчивость к перетасовке вариантов, тип взаимодействия (Zero/Few/CoT-shot) и даже семантическая нагрузка вопросов.
🏆 Результаты: кто справился?
🥇GPT-4o — лидер среди закрытых моделей с точностью 85.42%
🥈Deepseek-V3 — топ среди open-source (84.92%)
🥉Qwen-2.5-72B — золотая середина между качеством и размером (84.4%)
👌Остальные модели отстали — до 52.95% точности
Но даже лучшие модели покрывают лишь 70%–75% знаний, необходимых для работы реального специалиста.
🚧 Где проваливаются LLM?
Wireshark, nmap, Metasploit, Burp Suite, SQL — часто ошибаются
📈 А можно ли ИИ улучшить?
Да! Использовав выявленные пробелы, исследователи применили Retrieval-Augmented Generation (RAG):
- Векторная база знаний на основе Milvus
- Автоматическая подгрузка недостающего контекста
- Улучшение точности до 84% на задачах уязвимостей и анализа угроз
- Особенно эффективно для моделей средней мощности (LLaMA 3.2, 3.1)
👩💻 Как модели соответствуют реальным вакансиям?
Оценивалось соответствие знаниям, требуемым на позициях в:
- Google (Intelligence Analyst, Red Team Consultant)
- Amazon (Privacy Engineer, Security Engineer)
- Microsoft (Red Team Security Engineer)
Ни одна модель не набрала более 90% соответствия. Самые близкие к требованиям — GPT-4o и Deepseek-V3, но у каждой модели своя “зона силы”.
🔍 Выводы
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #LLM #AI #Benchmark #CSEBenchmark #GPT4 #Deepseek #RAG #RedTeam #SOC #InfoSec #ChatGPT
Please open Telegram to view this post
VIEW IN TELEGRAM
💢 12 КРИТИЧЕСКИХ ПРОБЛЕМ ВНЕДРЕНИЯ RAG
Разбираем "подводные камни" RAG-систем, выявленные при работе с реальными проектами.
➖ OCR-шум: Тихий убийца точности
⚙ Проблема: Распознавание сканированных PDF (отчёты, документы инцидентов) даёт до 37% ошибок → эмбеддинги мусорных фрагментов → ложные ответы.
🛡Решение: Каскадная очистка через Tesseract + easyOCR + regex-фильтры + ручная верификация *ключевых документов*.
➖ Чанкинг: Невидимая грань сбоя
⚙ Проблема:
- Чанки <200 токенов = фрагментация контекста (потеря связей IoC-тактик)
- Чанки >500 токенов = высокие латенции
🛡 Вывод: 200-500 токенов — золотая середина. Меньше = лаги, больше = потеря контекста»
➖ FAISS: Магия, которая ломается в scale
⚙ Проблема: При >10 000 эмбеддингов время поиска растёт экспоненциально (с 50 мс до 1.2 сек!).
🛡Решение: Жёсткая фильтрация по метатегам (тип документа, дата, критичность)
➖ Многоязычные провалы
⚙ Проблема: GPT-4o/Claude игнорируют нюансы локалей → ошибки в терминах типа «стековый буфер» (RU) vs «stack buffer» (EN).
🛡 Решение: DeepSeek-R1 для русского + кастомные эмбеддинг-модели, дообученные на доменных глоссариях.
➖ Ад зависимостей
⚙ Проблема: Конфликты версий PyTorch + FAISS + OCR-libs → падения в продакшене.
🛡 Решение: Docker-контейнеризация с фиксацией версий + тестирование на совместимость перед обновлениями.
💻 Операционные Косяки
➖ Хрупкость scraping-пайплайнов
⚙ Проблема: Изменения структуры сайтов (например, порталов киберугроз) ломают 68% парсеров.
🛡 Решение: Приоритет API (где есть) + Scrapy + Selenium с ежедневным мониторингом сломанных XPath.
➖ GDPR/Compliance-ловушка
⚙ Проблема: Облачные LLM (OpenAI и т.д.) = риски утечки sensitive data (лог-файлы, метаданные атак).
🛡 Решение: Самохостинг Ollama/Llama.cpp + шифрование эмбеддингов AES-256-GCM.
➖ Токсичные данные
⚙ Проблема: Дупликаты, устаревшие IoC, битые PDF в корпусе → ложные паттерны угроз.
🛡 Решение: Скрипты дедупликации + периодическая реиндексация + инструменты типа Great Expectations для валидации.
➖ Слепота без логов
⚙ Проблема: Без анализа запросов/ответов невозможно выявить уязвимости RAG (например, утечка контекста).
🛡 Решение: SQLite + Grafana для трекинга: пользователь, промт, рейтинг ответа, источник данных.
⚖ Этичные и Системные Риски
➖ Дилемма прозрачности
⚙ Проблема: Показ источников → риски OSINT-разведки злоумышленниками.
🛡 Решение: Динамическая политика (показ источников для SOC, скрытие для threat hunting).
➖ Смещение данных → ложные выводы
⚙ Проблема: Перекос в источниках (например, 80% отчётов Red Team) → RAG недооценивает Blue Team тактики.
🛡 Решение: Балансировка весов документов + re-ranking с приоритетом сбалансированных источников.
➖ Иллюзия "умного" ИИ
⚙ Проблема: Пользователи переоценивают точность RAG → принятие решений на основе ошибо.
🛡 Решение: Жёсткие предупреждения в интерфейсе + Evaluation Agent (автопроверка ответов перед показом).
💎 Вывод:
RAG — сложная инфраструктура, успех зависит от:
1⃣ Качества данных (нет OCR-шума, актуальные IoC)
2⃣ Инженерных решений (чанкинг, метатеги, логи)
3⃣ Этичного проектирования («что скрыть» важнее чем «что показать»)
Stay secure and read SecureTechTalks 📚
#RAG#Кибербезопасность #AI #LLM #DisarmRAG #ThreatIntelligence #DataEngineering #GDPR #MLOps #SecureTechTalks #ИскусственныйИнтеллект
Разбираем "подводные камни" RAG-систем, выявленные при работе с реальными проектами.
⚙ Проблема: Распознавание сканированных PDF (отчёты, документы инцидентов) даёт до 37% ошибок → эмбеддинги мусорных фрагментов → ложные ответы.
🛡Решение: Каскадная очистка через Tesseract + easyOCR + regex-фильтры + ручная верификация *ключевых документов*.
⚙ Проблема:
- Чанки <200 токенов = фрагментация контекста (потеря связей IoC-тактик)
- Чанки >500 токенов = высокие латенции
🛡 Вывод: 200-500 токенов — золотая середина. Меньше = лаги, больше = потеря контекста»
⚙ Проблема: При >10 000 эмбеддингов время поиска растёт экспоненциально (с 50 мс до 1.2 сек!).
🛡Решение: Жёсткая фильтрация по метатегам (тип документа, дата, критичность)
⚙ Проблема: GPT-4o/Claude игнорируют нюансы локалей → ошибки в терминах типа «стековый буфер» (RU) vs «stack buffer» (EN).
🛡 Решение: DeepSeek-R1 для русского + кастомные эмбеддинг-модели, дообученные на доменных глоссариях.
⚙ Проблема: Конфликты версий PyTorch + FAISS + OCR-libs → падения в продакшене.
🛡 Решение: Docker-контейнеризация с фиксацией версий + тестирование на совместимость перед обновлениями.
💻 Операционные Косяки
⚙ Проблема: Изменения структуры сайтов (например, порталов киберугроз) ломают 68% парсеров.
🛡 Решение: Приоритет API (где есть) + Scrapy + Selenium с ежедневным мониторингом сломанных XPath.
⚙ Проблема: Облачные LLM (OpenAI и т.д.) = риски утечки sensitive data (лог-файлы, метаданные атак).
🛡 Решение: Самохостинг Ollama/Llama.cpp + шифрование эмбеддингов AES-256-GCM.
⚙ Проблема: Дупликаты, устаревшие IoC, битые PDF в корпусе → ложные паттерны угроз.
🛡 Решение: Скрипты дедупликации + периодическая реиндексация + инструменты типа Great Expectations для валидации.
⚙ Проблема: Без анализа запросов/ответов невозможно выявить уязвимости RAG (например, утечка контекста).
🛡 Решение: SQLite + Grafana для трекинга: пользователь, промт, рейтинг ответа, источник данных.
⚖ Этичные и Системные Риски
⚙ Проблема: Показ источников → риски OSINT-разведки злоумышленниками.
🛡 Решение: Динамическая политика (показ источников для SOC, скрытие для threat hunting).
⚙ Проблема: Перекос в источниках (например, 80% отчётов Red Team) → RAG недооценивает Blue Team тактики.
🛡 Решение: Балансировка весов документов + re-ranking с приоритетом сбалансированных источников.
⚙ Проблема: Пользователи переоценивают точность RAG → принятие решений на основе ошибо.
🛡 Решение: Жёсткие предупреждения в интерфейсе + Evaluation Agent (автопроверка ответов перед показом).
💎 Вывод:
RAG — сложная инфраструктура, успех зависит от:
1⃣ Качества данных (нет OCR-шума, актуальные IoC)
2⃣ Инженерных решений (чанкинг, метатеги, логи)
3⃣ Этичного проектирования («что скрыть» важнее чем «что показать»)
Stay secure and read SecureTechTalks 📚
#RAG#Кибербезопасность #AI #LLM #DisarmRAG #ThreatIntelligence #DataEngineering #GDPR #MLOps #SecureTechTalks #ИскусственныйИнтеллект
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1🔥1
🧠 RAG Security Scanner — инструмент для анализа утечек в Retrieval-Augmented Generation
📚 Когда внешние данные превращаются в угрозу
RAG-архитектуры стали неотъемлемой частью современного ИИ: они позволяют языковым моделям (LLM) давать более точные ответы, подгружая внешний контекст из баз знаний, вики, векторных хранилищ. Но где данные — там и риски. Один неосторожный документ, и ваш GPT может начать «цитировать» токены, персональные данные или внутренние инструкции.
Чтобы этого не произошло, можно использовать RAG Security Scanner — open-source-инструмент, позволяющий автоматически проверить, не выдает ли ваша RAG-система конфиденциальную информацию пользователям.
🔍 Что реально делает этот инструмент?
RAG Security Scanner воспроизводит поведение ретривера LLM и анализирует документы, доступные модели. Он:
➖ разбивает документы на фрагменты (чанки)
➖ индексирует их в локальном FAISS-хранилище
➖ применяет ключевые фразы-триггеры ("password", "confidential", "api_key", и т.д.)
➖ ищет, какие куски могут быть возвращены в ответ на потенциально чувствительные запросы
Итог: вы получаете список фрагментов, содержащих уязвимую информацию, которые могут быть «вытянуты» LLM в процессе генерации.
📦 Фичи, которые делают его полезным
💡 Гибкая система ключевых слов — можно добавлять свои триггеры под нужды проекта
🧠 Полноценная локальная работа — не требует подключения к внешним API
📂 Поддержка распространённых форматов — PDF, .txt и т.п.
⚠️ Прозрачная визуализация совпадений — легко отследить, где именно возникает риск
🧰 Интеграция с пайплайнами — можно внедрить в CI/CD для автоматической проверки
🧪 Overview
RAG Security Scanner —это рабочий инструмент для:
➖ обеспечения безопасности RAG-приложений и чат-ботов
➖ оценки рисков при загрузке данных в LangChain, LlamaIndex и др.
➖ тестирования и аудита корпоративных знаний перед их отправкой в векторное хранилище
➖ контроля соответствия требованиям privacy и compliance
🔗 Ссылка на проект:
💻 GitHub: github.com/olegnazarov/rag-security-scanner
Stay secure and read SecureTechTalks 📚
#RAGSecurityScanner #RAG #LLMSecurity #DataPrivacy #OpenSourceTools #PentestTools #Cybersecurity #LangChain #AICompliance #SecureTechTalks #VectorDB #FAISS #AIContextLeak #DevSecOps #SecurityScanner #RedTeamTools #AIHardening
📚 Когда внешние данные превращаются в угрозу
RAG-архитектуры стали неотъемлемой частью современного ИИ: они позволяют языковым моделям (LLM) давать более точные ответы, подгружая внешний контекст из баз знаний, вики, векторных хранилищ. Но где данные — там и риски. Один неосторожный документ, и ваш GPT может начать «цитировать» токены, персональные данные или внутренние инструкции.
Чтобы этого не произошло, можно использовать RAG Security Scanner — open-source-инструмент, позволяющий автоматически проверить, не выдает ли ваша RAG-система конфиденциальную информацию пользователям.
🔍 Что реально делает этот инструмент?
RAG Security Scanner воспроизводит поведение ретривера LLM и анализирует документы, доступные модели. Он:
Итог: вы получаете список фрагментов, содержащих уязвимую информацию, которые могут быть «вытянуты» LLM в процессе генерации.
📦 Фичи, которые делают его полезным
💡 Гибкая система ключевых слов — можно добавлять свои триггеры под нужды проекта
🧠 Полноценная локальная работа — не требует подключения к внешним API
📂 Поддержка распространённых форматов — PDF, .txt и т.п.
⚠️ Прозрачная визуализация совпадений — легко отследить, где именно возникает риск
🧰 Интеграция с пайплайнами — можно внедрить в CI/CD для автоматической проверки
🧪 Overview
RAG Security Scanner —это рабочий инструмент для:
🔗 Ссылка на проект:
💻 GitHub: github.com/olegnazarov/rag-security-scanner
Stay secure and read SecureTechTalks 📚
#RAGSecurityScanner #RAG #LLMSecurity #DataPrivacy #OpenSourceTools #PentestTools #Cybersecurity #LangChain #AICompliance #SecureTechTalks #VectorDB #FAISS #AIContextLeak #DevSecOps #SecurityScanner #RedTeamTools #AIHardening
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🚨 GPT в борьбе с киберугрозами: реальный кейс
Анализ инновационного подхода из исследования Clemson University и TraCR
🧠 Контекст
С каждым годом транспортная инфраструктура становится всё более цифровой — а значит, и более уязвимой. Рост числа кибератак в авиации, морских перевозках, на железной дороге и в автомобильной отрасли требует масштабируемых аналитических решений.
Исследователи из Clemson University предложили использовать GPT-4o как интеллектуального помощника для анализа киберинцидентов.
🌐 Объем угроз
Порт Лос-Анджелеса в 2024 году зафиксировал 60 миллионов атак в месяц (в 2014 — только 7 млн).
На железнодорожный транспорт число атак выросло на 220% за 5 лет.
В автомобильной отрасли — +225% инцидентов за три года.
При этом до 95% нарушений происходят по вине сотрудников (по данным IBM 2024).
⚙️ Архитектура решения
Процесс обработки инцидентов состоит из двух основных модулей:
1⃣ Интеграция и фильтрация данных
Исследователи собрали информацию из пяти ключевых источников, включая:
- UMCED (более 14 000 записей)
- EuRepoC (около 3 400 кейсов)
- Maritime Cyber Attack DB (279 инцидентов)
- CSIS Significant Incidents
- Набор данных TraCR (124 случая в транспортной сфере)
Все данные были нормализованы в JSON-формат. Далее — с помощью дообученной версии GPT-3.5 Turbo была проведена фильтрация релевантных кейсов, классификация по категориям транспорта и исключение дублей.
Точность классификации — 89%. Финальный датасет включает более 98% релевантных инцидентов.
2⃣ Интеллектуальная система ответов на запросы
На следующем этапе используется Retrieval-Augmented Generation (RAG) с GPT-4o. Для поиска релевантных кейсов применяются гибридные ретриверы:
- Семантический поиск через embeddings (text-embedding-ada-002)
- Классический поиск по вхождению слов (BM25)
Такая схема позволяет добиться высокой точности и минимизировать галлюцинации при генерации ответов.
📈 Результаты
Система справилась с 50 сложными вопросами, например:
Вопрос: Сколько клиентов Air India пострадало в 2021 году?
Ответ:
Из 50 вопросов — 49 были отвечены без ошибок. В одном случае была допущена неточность в геолокации.
Коэффициент ROUGE-L составил 0.50, Recall — 0.60, общее соответствие данным — 98%.
💡 Где GPT превзошёл ожидания
- В 20% случаев GPT-4o давал более подробные ответы, чем ground truth, включая поля motive, impact, attack_type.
- Он автоматически объединял дублирующиеся кейсы, встречающиеся в разных источниках.
- Обеспечивал корректную классификацию даже в случаях смешанных (мультимодальных) атак.
🚧 Ограничения решения
- В некоторых ответах отсутствует информация о городе происшествия.
- Сложности при обработке мультимодальных инцидентов, когда один случай связан с несколькими видами транспорта.
- Пока нет автоматического обновления базы — данные добавляются вручную.
🚀 Развитие
Разработка команды TraCR движется в сторону:
- Публичного портала для фильтрации инцидентов по транспорту, географии и типу атак.
- Интеграции с веб-краулерами для автообновления базы.
- Создания визуальных дашбордов для мониторинга трендов угроз.
🧩 Вывод
📎 Ссылки:
Исследование: arXiv:2508.02523
Центр TraCR: tracr.clemson.edu
Пример инцидент-базы: github.com/TraCR-Cyber/incident-db
Stay secure and read SecureTechTalks 📚
#TransportSecurity #GPT4o #GPT #RAG #CyberSOC #IncidentResponse #AIInCyber #Cybersecurity
Анализ инновационного подхода из исследования Clemson University и TraCR
🧠 Контекст
С каждым годом транспортная инфраструктура становится всё более цифровой — а значит, и более уязвимой. Рост числа кибератак в авиации, морских перевозках, на железной дороге и в автомобильной отрасли требует масштабируемых аналитических решений.
Исследователи из Clemson University предложили использовать GPT-4o как интеллектуального помощника для анализа киберинцидентов.
🌐 Объем угроз
Порт Лос-Анджелеса в 2024 году зафиксировал 60 миллионов атак в месяц (в 2014 — только 7 млн).
На железнодорожный транспорт число атак выросло на 220% за 5 лет.
В автомобильной отрасли — +225% инцидентов за три года.
При этом до 95% нарушений происходят по вине сотрудников (по данным IBM 2024).
⚙️ Архитектура решения
Процесс обработки инцидентов состоит из двух основных модулей:
1⃣ Интеграция и фильтрация данных
Исследователи собрали информацию из пяти ключевых источников, включая:
- UMCED (более 14 000 записей)
- EuRepoC (около 3 400 кейсов)
- Maritime Cyber Attack DB (279 инцидентов)
- CSIS Significant Incidents
- Набор данных TraCR (124 случая в транспортной сфере)
Все данные были нормализованы в JSON-формат. Далее — с помощью дообученной версии GPT-3.5 Turbo была проведена фильтрация релевантных кейсов, классификация по категориям транспорта и исключение дублей.
Точность классификации — 89%. Финальный датасет включает более 98% релевантных инцидентов.
2⃣ Интеллектуальная система ответов на запросы
На следующем этапе используется Retrieval-Augmented Generation (RAG) с GPT-4o. Для поиска релевантных кейсов применяются гибридные ретриверы:
- Семантический поиск через embeddings (text-embedding-ada-002)
- Классический поиск по вхождению слов (BM25)
Такая схема позволяет добиться высокой точности и минимизировать галлюцинации при генерации ответов.
📈 Результаты
Система справилась с 50 сложными вопросами, например:
Вопрос: Сколько клиентов Air India пострадало в 2021 году?
Ответ:
4.5 миллиона клиентов Air India стали жертвами утечки данных после компрометации системы бронирования.
Из 50 вопросов — 49 были отвечены без ошибок. В одном случае была допущена неточность в геолокации.
Коэффициент ROUGE-L составил 0.50, Recall — 0.60, общее соответствие данным — 98%.
💡 Где GPT превзошёл ожидания
- В 20% случаев GPT-4o давал более подробные ответы, чем ground truth, включая поля motive, impact, attack_type.
- Он автоматически объединял дублирующиеся кейсы, встречающиеся в разных источниках.
- Обеспечивал корректную классификацию даже в случаях смешанных (мультимодальных) атак.
🚧 Ограничения решения
- В некоторых ответах отсутствует информация о городе происшествия.
- Сложности при обработке мультимодальных инцидентов, когда один случай связан с несколькими видами транспорта.
- Пока нет автоматического обновления базы — данные добавляются вручную.
🚀 Развитие
Разработка команды TraCR движется в сторону:
- Публичного портала для фильтрации инцидентов по транспорту, географии и типу атак.
- Интеграции с веб-краулерами для автообновления базы.
- Создания визуальных дашбордов для мониторинга трендов угроз.
🧩 Вывод
GPT-4o превращает расследование инцидентов в управляемый процесс, экономя сотни часов аналитиков.
Он не заменяет SOC, но усиливает его как цифровой ассистент нового поколения.
📎 Ссылки:
Исследование: arXiv:2508.02523
Центр TraCR: tracr.clemson.edu
Пример инцидент-базы: github.com/TraCR-Cyber/incident-db
Stay secure and read SecureTechTalks 📚
#TransportSecurity #GPT4o #GPT #RAG #CyberSOC #IncidentResponse #AIInCyber #Cybersecurity
🧠 FlexiDataGen: LLM создаёт безопасные датасеты в чувствительных доменах 🔐
Современный AI упирается не в вычислительные мощности, а в данные. Чем качественнее датасет, тем умнее и безопаснее модель.
Но вот проблема: в медицине, финансах и кибербезопасности эти данные нельзя просто собрать с интернета - они конфиденциальны, редки и часто защищены законом.
📉 Это создаёт «датасетный разрыв»: хорошие модели требуют больших данных, а большие данные недоступны.
Чтобы решить эту проблему, исследователи из Canadian Institute for Cybersecurity представили FlexiDataGen - адаптивную LLM-систему, способную генерировать синтетические, но семантически точные датасеты для чувствительных областей.
⚙️ Overview
FlexiDataGen - это модульная платформа для создания реалистичных текстовых наборов данных, где каждая фраза выглядит так, будто её написал эксперт.
Система проходит пять фаз:
1️⃣ Синтаксико-семантический анализ извлекает смысл из базового шаблона (например: «опиши инцидент безопасности»).
2️⃣ RAG (Retrieval-Augmented Generation) обращается к источникам вроде Wikipedia и DBpedia, чтобы добавить реальные факты и подтемы.
3️⃣ Динамическая инъекция элементов подставляет в шаблон контекстные переменные (домен, ситуация, действие).
4️⃣ Итеративный парафразинг создаёт несколько лингвистически разных, но семантически одинаковых версий фразы.
5️⃣ Валидация по смысловому сходству отбрасывает всё, что отклонилось от исходного смысла более чем на 25%.
💡 В результате чистый, разнообразный и безопасный датасет, который можно использовать для обучения LLM без утечки реальных данных.
🧬 Пример из медицины
Допустим, у нас есть шаблон:
FlexiDataGen подставляет реальные элементы:
🫀 заболевание → кардиология, неврология, педиатрия
🏥 сценарий → экстренная госпитализация, профилактический осмотр
📚 В итоге тысячи уникальных, реалистичных примеров вроде:
🛡️ Применение в кибербезопасности
В области Security эта технология особенно ценна.
FlexiDataGen может генерировать:
⚔️ инциденты SOC (утечка данных, фишинг, DDoS),
🧠 обращения пользователей,
💻 логи сетевой активности,
🧩 псевдоанализ уязвимостей.
Такие датасеты идеально подходят для:
🎯 обучения LLM-ассистентов SOC;
🧱 тестирования SIEM-систем;
🔧 отладки автоматических триаж-процессов;
🕵️♂️ разработки Red Team симуляторов без риска раскрытия реальных инцидентов.
📊 Результаты тестов
Разработчики протестировали FlexiDataGen с несколькими LLM (включая Phi-4-mini-instruct и Llama 3.2 1B).
Результаты:
📈 97.8% сгенерированных примеров были уникальными
🚫 уровень «шума» менее 2%.
Система сама фильтрует бессмыслицу и сохраняет только релевантные варианты 💎
🚀 Развитие идеи
Авторы уже работают над новыми возможностями:
🔄 динамическое добавление сценариев из реального времени,
🌍 мультиязычная поддержка,
👨🏫 экспертная проверка в цикле обучения,
⚠️ и даже использование jailbreak-подходов для генерации адверсариальных кейсов в области безопасности.
📎 Оригинал публикации: https://arxiv.org/abs/2510.19025v1
Stay secure and read SecureTechTalks 📚
#AI #LLM #Cybersecurity #DataPrivacy #SyntheticData #FlexiDataGen #RAG #DatasetSecurity #SecureAI #TechResearch
Современный AI упирается не в вычислительные мощности, а в данные. Чем качественнее датасет, тем умнее и безопаснее модель.
Но вот проблема: в медицине, финансах и кибербезопасности эти данные нельзя просто собрать с интернета - они конфиденциальны, редки и часто защищены законом.
📉 Это создаёт «датасетный разрыв»: хорошие модели требуют больших данных, а большие данные недоступны.
Чтобы решить эту проблему, исследователи из Canadian Institute for Cybersecurity представили FlexiDataGen - адаптивную LLM-систему, способную генерировать синтетические, но семантически точные датасеты для чувствительных областей.
⚙️ Overview
FlexiDataGen - это модульная платформа для создания реалистичных текстовых наборов данных, где каждая фраза выглядит так, будто её написал эксперт.
Система проходит пять фаз:
1️⃣ Синтаксико-семантический анализ извлекает смысл из базового шаблона (например: «опиши инцидент безопасности»).
2️⃣ RAG (Retrieval-Augmented Generation) обращается к источникам вроде Wikipedia и DBpedia, чтобы добавить реальные факты и подтемы.
3️⃣ Динамическая инъекция элементов подставляет в шаблон контекстные переменные (домен, ситуация, действие).
4️⃣ Итеративный парафразинг создаёт несколько лингвистически разных, но семантически одинаковых версий фразы.
5️⃣ Валидация по смысловому сходству отбрасывает всё, что отклонилось от исходного смысла более чем на 25%.
💡 В результате чистый, разнообразный и безопасный датасет, который можно использовать для обучения LLM без утечки реальных данных.
🧬 Пример из медицины
Допустим, у нас есть шаблон:
💬 «Создай отчёт о медицинской истории пациента с {заболеванием} в контексте {сценария}.»
FlexiDataGen подставляет реальные элементы:
🫀 заболевание → кардиология, неврология, педиатрия
🏥 сценарий → экстренная госпитализация, профилактический осмотр
📚 В итоге тысячи уникальных, реалистичных примеров вроде:
«Составь историю болезни пациента с острым инсультом, поступившего в отделение неотложной помощи.»
🛡️ Применение в кибербезопасности
В области Security эта технология особенно ценна.
FlexiDataGen может генерировать:
⚔️ инциденты SOC (утечка данных, фишинг, DDoS),
🧠 обращения пользователей,
💻 логи сетевой активности,
🧩 псевдоанализ уязвимостей.
Такие датасеты идеально подходят для:
🎯 обучения LLM-ассистентов SOC;
🧱 тестирования SIEM-систем;
🔧 отладки автоматических триаж-процессов;
🕵️♂️ разработки Red Team симуляторов без риска раскрытия реальных инцидентов.
📊 Результаты тестов
Разработчики протестировали FlexiDataGen с несколькими LLM (включая Phi-4-mini-instruct и Llama 3.2 1B).
Результаты:
📈 97.8% сгенерированных примеров были уникальными
🚫 уровень «шума» менее 2%.
Система сама фильтрует бессмыслицу и сохраняет только релевантные варианты 💎
🚀 Развитие идеи
Авторы уже работают над новыми возможностями:
🔄 динамическое добавление сценариев из реального времени,
🌍 мультиязычная поддержка,
👨🏫 экспертная проверка в цикле обучения,
⚠️ и даже использование jailbreak-подходов для генерации адверсариальных кейсов в области безопасности.
📎 Оригинал публикации: https://arxiv.org/abs/2510.19025v1
Stay secure and read SecureTechTalks 📚
#AI #LLM #Cybersecurity #DataPrivacy #SyntheticData #FlexiDataGen #RAG #DatasetSecurity #SecureAI #TechResearch
1👍3🤔1🤝1
🧠 Al-инструмент для углублённого анализа кода
Сегодня рассмотрим весьма интересный проект OSINT для AppSec: Metis от ARM, семантический ИИ-инструмент, который читает код, как человек, и анализирует его, как машина.
🔎 Что такое Metis?
Metis - это AI-фреймворк для глубокого анализа безопасности исходного кода, который использует большие языковые модели (LLM) и RAG-архитектуру.
💡 Назван в честь богини мудрости Метис. Заявляется, что инструмент «понимает» код.
🚀 Ключевые особенности
🧬 Семантическое понимание кода
- Не ищет шаблоны или регулярки, а анализирует смысл, архитектуру и контекст.
- Выявляет логические и концептуальные уязвимости, которые статические анализаторы часто пропускают.
🧩Контекстно-чувствительный анализ
Metis строит собственную векторную базу проекта и связывает разрозненные фрагменты. Рекомендации становятся точнее, выводы глубже, меньше фолс-позитивов.
🔌 3. Модульная система плагинов
Поддерживаемые языки: C, C++, Python, Rust, TypeScript.
Можно писать плагины под внутренние DSL или добавлять собственные security-чеклисты.
🗄️ Гибкая работа с векторными БД
Поддержка:
- ChromaDB по умолчанию
- PostgreSQL + pgvector для продакшена и CI/CD
🤖 5. Интеграция LLM
Из коробки идет OpenAI, но архитектура легко расширяется под любые корпоративные модели.
⚙️ Гибкость и кастомизация
📝 Конфигурации в metis.yaml: параметры LLM, базы данных, чанки, анализ.
🧠 Настройка подсказок (plugins.yaml): можно задать правила безопасности, отраслевые стандарты и корпоративные playbooks.
🧱 Настраиваемое разбиение кода на чанки, что важно для больших репозиториев.
🔧 Плагинная архитектура позволяет поддерживать любые языки и внутренние форматы.
⚠️ Минусы
🧭 Не все языки поддерживаются, для редких потребуется плагин.
💸 LLM = дополнительные расходы.
🤷 Возможны ошибки рассуждения при недостатке контекста.
🔧 Первичная настройка требует времени
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#AIsecurity #AppSec #SAST #ARM #Metis #SecureCoding #DevSecOps #CyberSecurity #RAG #LLM
Сегодня рассмотрим весьма интересный проект OSINT для AppSec: Metis от ARM, семантический ИИ-инструмент, который читает код, как человек, и анализирует его, как машина.
🔎 Что такое Metis?
Metis - это AI-фреймворк для глубокого анализа безопасности исходного кода, который использует большие языковые модели (LLM) и RAG-архитектуру.
💡 Назван в честь богини мудрости Метис. Заявляется, что инструмент «понимает» код.
🚀 Ключевые особенности
🧬 Семантическое понимание кода
- Не ищет шаблоны или регулярки, а анализирует смысл, архитектуру и контекст.
- Выявляет логические и концептуальные уязвимости, которые статические анализаторы часто пропускают.
🧩Контекстно-чувствительный анализ
Metis строит собственную векторную базу проекта и связывает разрозненные фрагменты. Рекомендации становятся точнее, выводы глубже, меньше фолс-позитивов.
🔌 3. Модульная система плагинов
Поддерживаемые языки: C, C++, Python, Rust, TypeScript.
Можно писать плагины под внутренние DSL или добавлять собственные security-чеклисты.
🗄️ Гибкая работа с векторными БД
Поддержка:
- ChromaDB по умолчанию
- PostgreSQL + pgvector для продакшена и CI/CD
🤖 5. Интеграция LLM
Из коробки идет OpenAI, но архитектура легко расширяется под любые корпоративные модели.
⚙️ Гибкость и кастомизация
📝 Конфигурации в metis.yaml: параметры LLM, базы данных, чанки, анализ.
🧠 Настройка подсказок (plugins.yaml): можно задать правила безопасности, отраслевые стандарты и корпоративные playbooks.
🧱 Настраиваемое разбиение кода на чанки, что важно для больших репозиториев.
🔧 Плагинная архитектура позволяет поддерживать любые языки и внутренние форматы.
⚠️ Минусы
🧭 Не все языки поддерживаются, для редких потребуется плагин.
💸 LLM = дополнительные расходы.
🤷 Возможны ошибки рассуждения при недостатке контекста.
🔧 Первичная настройка требует времени
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#AIsecurity #AppSec #SAST #ARM #Metis #SecureCoding #DevSecOps #CyberSecurity #RAG #LLM
🚀 DeepTeam: пентестим ваш ИИ
🔍 DeepTeam - интересный open-source фреймворк для red-teaming ИИ-систем, заточенный под поиск уязвимостей в LLM, чатботах, RAG-пайплайнах и агентных системах.
Он автоматически атакует ваши модели десятками техник, от prompt injection до многошаговых jailbreak-диалогов, и показывает, где система разваливается.
🧨 Основные фичи
✨ 40+ типов уязвимостей: утечки данных, bias, токсичность, манипуляции, контекстные атаки и многое другое.
⚔️ 10+ методов атак: одношаговые и многошаговые jailbreak-сценарии.
🧩 Модульная архитектура: легко добавлять свои атаки и тесты.
💻 Работа локально или через CLI, удобно для CI/CD.
🔄 Совместимость с любой LLM: OpenAI, Anthropic, локалки, кастомные агенты.
📊 Экспорт результатов: таблицы, JSON: всё, что нужно для отчётов и аудита.
⚙️ Насколько сложно использовать?
➖ Подключить модель через model_callback
➖ Выбрать атаки и уязвимости
➖ Запустить тесты и изучить отчёт
Настройка занимает меньше минуты и вы увидите, где ваш ИИ провалился.
💡 Несколько последних слов
ИИ-систему не надо защищать, её нужно постоянно проверять, потому что она ломается там, где вы ждёте меньше всего 😁
DeepTeam, инструмент, который позволяет тестировать модели так, как это делает реальный противник:без «сладких» тестов, которые любят разработчики .
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #ИИбезопасность #LLM #RedTeam #PromptInjection #Jailbreak #AIsecurity #RAG #SecureTechTalks #DeepTeam
🔍 DeepTeam - интересный open-source фреймворк для red-teaming ИИ-систем, заточенный под поиск уязвимостей в LLM, чатботах, RAG-пайплайнах и агентных системах.
Он автоматически атакует ваши модели десятками техник, от prompt injection до многошаговых jailbreak-диалогов, и показывает, где система разваливается.
🧨 Основные фичи
✨ 40+ типов уязвимостей: утечки данных, bias, токсичность, манипуляции, контекстные атаки и многое другое.
⚔️ 10+ методов атак: одношаговые и многошаговые jailbreak-сценарии.
🧩 Модульная архитектура: легко добавлять свои атаки и тесты.
💻 Работа локально или через CLI, удобно для CI/CD.
🔄 Совместимость с любой LLM: OpenAI, Anthropic, локалки, кастомные агенты.
📊 Экспорт результатов: таблицы, JSON: всё, что нужно для отчётов и аудита.
⚙️ Насколько сложно использовать?
pip install -U deepteam
Настройка занимает меньше минуты и вы увидите, где ваш ИИ провалился.
💡 Несколько последних слов
ИИ-систему не надо защищать, её нужно постоянно проверять, потому что она ломается там, где вы ждёте меньше всего 😁
DeepTeam, инструмент, который позволяет тестировать модели так, как это делает реальный противник:
🔗 Ссылка на GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #ИИбезопасность #LLM #RedTeam #PromptInjection #Jailbreak #AIsecurity #RAG #SecureTechTalks #DeepTeam
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖🔥 Адаптивный ИИ: статичные модели больше не работают
Современные угрозы представляет собой высокодинамичную среду, в которой параметры, эксплуатационные техники и уязвимости изменяются непрерывно.
Классические модели машинного обучения, основанные на статичных знаниях, теряют эффективность
Требуется архитектура, способная к непрерывной адаптации: изменению данных, появлению новых атакующих техник, обновлению CVE и т.д..
🎯 ПРЕЦИЗИОННОСТЬ, а не просто «умный ИИ»
Каждый день мы видим тысячи предупреждений, сотни CVE, десятки обновлений. Сколько из них реально критичных? По статистике пара процентов.
Откуда ИИ должен знать:
- какие уязвимости реально эксплуатируются ⚠️
- какие пакеты можно обновить безопасно, а какие сломают половину ПРОМа 🧩
- какие зависимости тянут за собой скрытые риски 🕸
Вот тут и проявляется ключевое качество precision, точность принятия решений в условиях хаоса.
Именно точность отличает систему, которая помогает инженеру, от системы, которая создаёт больше работы, чем экономит.
🧠 LLM без адаптации не нужны
Даже самый мощный LLM:
❌ устаревает уже через 3–6 месяцев
❌ не понимает новые эксплойты и техники атаки
❌ путается в противоречивых CVSS-оценках
❌ тонет в длинных noisy-контекстах
❌ ошибается в RAG, когда извлечённые данные неактуальны
А самое важное, что
кибербезопасность развивается быстрее, чем обновляются модели.
Поэтому статичная модель гарантированно проигрывает динамичной атаке.
🧩 Три кита адаптивного ИИ в безопасности
1) 🔍 RAG + In-Context Learning (ICL)
Модель учится «на лету», ей не нужно менять веса, достаточно дать правильный контекст.
Но есть проблема:
чем больше контекста → тем сильнее модель деградирует.
➡️ решение: использовать интеллектуальные retrieval-агенты
➡️ фильтровать контекст, а не просто загружать всё подряд
➡️ добавлять знания из графов (CVE–CWE–CPE связи)
2) 🧠 Knowledge Graphs как «скелет» киберзнаний
Безопасность - идеальная область для графов:
CVE → CVSS → эксплойты
пакеты → зависимости → контрмеры
TTP → группы атакующих → MITRE ATT&CK
Графы позволяют:
✔️ исключать шум
✔️ находить скрытые связи
✔️ объяснять выводы (auditability)
✔️ строить более точный RAG
3) 🔄 Continual Learning: непрерывное самообновление модели
Когда RAG не справляется, подключаем continual pretraining.
Модель обучается дальше на новых данных: CVE, advisories, PoC, репорты, рассылки, TTP, эксплойты.
Преимущества:
- устойчива к шуму и фейкам
- объединяет противоречивые данные
- снижает хаотичность ответов
- формирует контекст внутри параметров модели
- адаптируется к новым атакам быстрее, чем выходит новый релиз LLM
🧨 Главная идея
Будущее в гибридных системах:
➖ RAG для свежих фактов
➖ Knowledge Graph для структуры
➖ Continual Learning для развития модели
🔗 С полным текстом исследования можно ознакомиться тут.
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #genai #rag #continuallearning #llmsecurity #threatintel #cvss #mitre #securetech
Современные угрозы представляет собой высокодинамичную среду, в которой параметры, эксплуатационные техники и уязвимости изменяются непрерывно.
Классические модели машинного обучения, основанные на статичных знаниях, теряют эффективность
Требуется архитектура, способная к непрерывной адаптации: изменению данных, появлению новых атакующих техник, обновлению CVE и т.д..
🎯 ПРЕЦИЗИОННОСТЬ, а не просто «умный ИИ»
Каждый день мы видим тысячи предупреждений, сотни CVE, десятки обновлений. Сколько из них реально критичных? По статистике пара процентов.
Откуда ИИ должен знать:
- какие уязвимости реально эксплуатируются ⚠️
- какие пакеты можно обновить безопасно, а какие сломают половину ПРОМа 🧩
- какие зависимости тянут за собой скрытые риски 🕸
Вот тут и проявляется ключевое качество precision, точность принятия решений в условиях хаоса.
Именно точность отличает систему, которая помогает инженеру, от системы, которая создаёт больше работы, чем экономит.
🧠 LLM без адаптации не нужны
Даже самый мощный LLM:
❌ устаревает уже через 3–6 месяцев
❌ не понимает новые эксплойты и техники атаки
❌ путается в противоречивых CVSS-оценках
❌ тонет в длинных noisy-контекстах
❌ ошибается в RAG, когда извлечённые данные неактуальны
А самое важное, что
кибербезопасность развивается быстрее, чем обновляются модели.
Поэтому статичная модель гарантированно проигрывает динамичной атаке.
🧩 Три кита адаптивного ИИ в безопасности
1) 🔍 RAG + In-Context Learning (ICL)
Модель учится «на лету», ей не нужно менять веса, достаточно дать правильный контекст.
Но есть проблема:
чем больше контекста → тем сильнее модель деградирует.
➡️ решение: использовать интеллектуальные retrieval-агенты
➡️ фильтровать контекст, а не просто загружать всё подряд
➡️ добавлять знания из графов (CVE–CWE–CPE связи)
2) 🧠 Knowledge Graphs как «скелет» киберзнаний
Безопасность - идеальная область для графов:
CVE → CVSS → эксплойты
пакеты → зависимости → контрмеры
TTP → группы атакующих → MITRE ATT&CK
Графы позволяют:
✔️ исключать шум
✔️ находить скрытые связи
✔️ объяснять выводы (auditability)
✔️ строить более точный RAG
3) 🔄 Continual Learning: непрерывное самообновление модели
Когда RAG не справляется, подключаем continual pretraining.
Модель обучается дальше на новых данных: CVE, advisories, PoC, репорты, рассылки, TTP, эксплойты.
Преимущества:
- устойчива к шуму и фейкам
- объединяет противоречивые данные
- снижает хаотичность ответов
- формирует контекст внутри параметров модели
- адаптируется к новым атакам быстрее, чем выходит новый релиз LLM
🧨 Главная идея
Будущее в гибридных системах:
🔗 С полным текстом исследования можно ознакомиться тут.
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #genai #rag #continuallearning #llmsecurity #threatintel #cvss #mitre #securetech
Please open Telegram to view this post
VIEW IN TELEGRAM
🧬 VectorSmuggle: данные научились прятать внутри embedding’ов
Большинство AI-систем относятся к embedding как к безопасному промежуточному формату, т.к. Вектор не выглядит как текст и не содержит очевидного payload.
Поэтому embedding’и спокойно:
🔹 передаются между сервисами
🔹 индексируются в vector DB
🔹 попадают в shared storage
🔹 используются в retrieval pipeline
Практически никто не анализирует их содержимое с точки зрения безопасности. А зря.
⚙️ Что такое VectorSmuggle
Исследователи показали, что внутри embedding можно скрытно кодировать произвольные данные, сохраняя при этом его внешнюю «нормальность».
Технически идея строится вокруг особенностей embedding space.
LLM и embedding-модели преобразуют текст в высокоразмерные векторы. При этом небольшие изменения отдельных компонент обычно не ломают semantic similarity.
Именно этот запас устойчивости злоумышленники используют, как covert channel.
Часть измерений embedding’а начинает хранить скрытый payload, который можно позже извлечь специальным декодером.
Со стороны embedding продолжает выглядеть легитимно:
🔹 проходит similarity search
🔹 нормально индексируется
🔹 не вызывает ошибок в vector pipeline
Но внутри уже находится скрытая информация.
🧪 Реализация
Схема выглядит довольно элегантно, сначала данные кодируются внутрь embedding-вектора через модификацию отдельных dimensions. После этого embedding отправляется в обычную vector infrastructure: FAISS, Pinecone, Milvus или другую vector DB.
Позже получатель извлекает embedding и декодирует скрытый payload обратно в исходные данные. Ключевая проблема в том, что embedding-инфраструктура почти не имеет механизмов проверки:
🔹 что именно хранится внутри вектора
🔹 насколько embedding отклоняется от нормального распределения
🔹 используется ли vector space как covert storage
Для системы это просто массив float-значений.
🧨 Опасность⚠️
На практике VectorSmuggle открывает довольно неприятные сценарии.
Например:
🔹 скрытая передача данных через RAG-pipeline
🔹 covert communication между агентами
🔹 хранение payload внутри vector DB
🔹 обход DLP/контент-фильтрации
🔹 скрытая эксфильтрация информации через embedding API
Особенно интересно выглядит последний пункт. Многие security-системы анализируют текст, файлы или сетевой трафик, но практически не смотрят на embedding-space как на потенциальный канал утечки данных, хотя именно туда AI-инфраструктура сейчас начинает переносить всё больше информации.
🔗 Исследование: https://arxiv.org/abs/2505.12540
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #Embedding #VectorDB #RAG #DataSecurity #AppSec #AIrisks #SecureTechTalks
Большинство AI-систем относятся к embedding как к безопасному промежуточному формату, т.к. Вектор не выглядит как текст и не содержит очевидного payload.
Поэтому embedding’и спокойно:
🔹 передаются между сервисами
🔹 индексируются в vector DB
🔹 попадают в shared storage
🔹 используются в retrieval pipeline
Практически никто не анализирует их содержимое с точки зрения безопасности. А зря.
⚙️ Что такое VectorSmuggle
Исследователи показали, что внутри embedding можно скрытно кодировать произвольные данные, сохраняя при этом его внешнюю «нормальность».
Технически идея строится вокруг особенностей embedding space.
LLM и embedding-модели преобразуют текст в высокоразмерные векторы. При этом небольшие изменения отдельных компонент обычно не ломают semantic similarity.
Именно этот запас устойчивости злоумышленники используют, как covert channel.
Часть измерений embedding’а начинает хранить скрытый payload, который можно позже извлечь специальным декодером.
Со стороны embedding продолжает выглядеть легитимно:
🔹 проходит similarity search
🔹 нормально индексируется
🔹 не вызывает ошибок в vector pipeline
Но внутри уже находится скрытая информация.
🧪 Реализация
Схема выглядит довольно элегантно, сначала данные кодируются внутрь embedding-вектора через модификацию отдельных dimensions. После этого embedding отправляется в обычную vector infrastructure: FAISS, Pinecone, Milvus или другую vector DB.
Позже получатель извлекает embedding и декодирует скрытый payload обратно в исходные данные. Ключевая проблема в том, что embedding-инфраструктура почти не имеет механизмов проверки:
🔹 что именно хранится внутри вектора
🔹 насколько embedding отклоняется от нормального распределения
🔹 используется ли vector space как covert storage
Для системы это просто массив float-значений.
🧨 Опасность
На практике VectorSmuggle открывает довольно неприятные сценарии.
Например:
🔹 скрытая передача данных через RAG-pipeline
🔹 covert communication между агентами
🔹 хранение payload внутри vector DB
🔹 обход DLP/контент-фильтрации
🔹 скрытая эксфильтрация информации через embedding API
Особенно интересно выглядит последний пункт. Многие security-системы анализируют текст, файлы или сетевой трафик, но практически не смотрят на embedding-space как на потенциальный канал утечки данных, хотя именно туда AI-инфраструктура сейчас начинает переносить всё больше информации.
🔗 Исследование: https://arxiv.org/abs/2505.12540
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #Embedding #VectorDB #RAG #DataSecurity #AppSec #AIrisks #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
🧠 AI-агенты начали автоматизировать научные исследования
На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline:
🔹 поиск литературы
🔹 генерация гипотез
🔹 постановка экспериментов
🔹 запуск вычислений
🔹 анализ результатов
🔹 написание статьи
Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow.
Каждая стадия получает свой контекст, скиллы и execution logic.
⚙️ Главная фишка
Самая сильная часть архитектуры - это память, SciMem.
Система хранит не документы целиком, а сущности:
🔹 статьи
🔹 методы
🔹 гипотезы
🔹 эксперименты
🔹 результаты
Всё живёт как state machine:
➖ «гипотеза → тестирование → подтверждение / отклонение»
➖ «эксперимент → запуск → результат → переоценка»
Получается persistent reasoning layer, где агент не забывает прошлые попытки и может строить итеративные workflow.
🔬 А как защищаются от галлюцинаций?
Авторы отдельно добавили Trust Guard для валидации памяти. Перед записью знание проверяется на происхождение источника, связи с текущими знаниями и на соответствие schema.
Таким отразом пытаются решить проблему долго работающих агентов с отравлением памяти и накопление ложных выводов после сотен шагов рассуждений.
🧪 Это работает?
В одном из экспериментов агент самостоятельно оптимизировал GPU kernel и получил 1.52× ускорение относительно исходника.
Стоит отметить, что во всех кейсах система сохраняла не только успехи, но и провалы, используя их как отрицательное знание для следующих итераций.
🔗 Исследование: https://arxiv.org/abs/2605.31468
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AIsecurity #CyberSecurity #RAG #MemorySecurity #ResearchAgents #SecureTechTalks
На arXiv вышла работа AutoSci: агентская система, которая пытается автоматизировать полный research pipeline:
🔹 поиск литературы
🔹 генерация гипотез
🔹 постановка экспериментов
🔹 запуск вычислений
🔹 анализ результатов
🔹 написание статьи
Агент работает как stateful execution system, где исследование разбивается на этапы через orchestration layer SciFlow.
Каждая стадия получает свой контекст, скиллы и execution logic.
⚙️ Главная фишка
Самая сильная часть архитектуры - это память, SciMem.
Система хранит не документы целиком, а сущности:
🔹 статьи
🔹 методы
🔹 гипотезы
🔹 эксперименты
🔹 результаты
Всё живёт как state machine:
Получается persistent reasoning layer, где агент не забывает прошлые попытки и может строить итеративные workflow.
🔬 А как защищаются от галлюцинаций?
Авторы отдельно добавили Trust Guard для валидации памяти. Перед записью знание проверяется на происхождение источника, связи с текущими знаниями и на соответствие schema.
Таким отразом пытаются решить проблему долго работающих агентов с отравлением памяти и накопление ложных выводов после сотен шагов рассуждений.
🧪 Это работает?
В одном из экспериментов агент самостоятельно оптимизировал GPU kernel и получил 1.52× ускорение относительно исходника.
Стоит отметить, что во всех кейсах система сохраняла не только успехи, но и провалы, используя их как отрицательное знание для следующих итераций.
🔗 Исследование: https://arxiv.org/abs/2605.31468
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #AIsecurity #CyberSecurity #RAG #MemorySecurity #ResearchAgents #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
🧨 Prompt injection наконец-то начали измерять как нормальную уязвимость
На arXiv вышла работа, где исследователи решили собрать benchmark для атак на AI-агентов и системно проверить, что реально помогает против prompt injection.
⚙️ 847 способов сломать агента
Авторы собрали 847 adversarial test cases для RAG-агентов и разбили атаки на несколько категорий:
🔹 прямой prompt injection
🔹 подмена контекста
🔹 override инструкций
🔹 эксфильтрация данных
🔹 «загрязнение» контекста между сессиями
Далее все прогоняли через реалистичные сценарии, например: вредоносный документ → попадание в RAG → извлечение в prompt → изменение поведения агента → вызов инструментов.
🧠 Что же помогает?
Исследователи протестировали несколько уровней защиты сразу:
1⃣ Фильтрация содержимого
Система анализирует входной контент и пытается обнаружить аномалии через embedding-based detection, чтобы замечать подозрительные инструкции ещё до попадания в reasoning pipeline.
2⃣ Иерархические системные инструкции
Вместо одного system prompt используются несколько уровней ограничений, где критичные политики сложнее переопределить.
3⃣ Многоэтапная проверка ответа
Перед выполнением действия агент проходит дополнительную verification stage:
➖ безопасно ли действие?
➖ нарушаются ли политики?
➖ нет ли признаков injection?
📉 К результатам
Без защиты успешность атак доходила до 73.2%. Комбинация нескольких механизмов снизила показатель до 8.7%, при этом сохранив 94.3% исходной функциональности модели.
Большинство защит AI обычно работают по принципу «стало безопаснее, но пользоваться невозможно.». Тут все иначе, что не может не радовать.
🔗 Исследование: https://arxiv.org/abs/2511.15759
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #PromptInjection #AgenticAI #RAG #AIsecurity #CyberSecurity #AppSec #SecureTechTalks
На arXiv вышла работа, где исследователи решили собрать benchmark для атак на AI-агентов и системно проверить, что реально помогает против prompt injection.
⚙️ 847 способов сломать агента
Авторы собрали 847 adversarial test cases для RAG-агентов и разбили атаки на несколько категорий:
🔹 прямой prompt injection
🔹 подмена контекста
🔹 override инструкций
🔹 эксфильтрация данных
🔹 «загрязнение» контекста между сессиями
Далее все прогоняли через реалистичные сценарии, например: вредоносный документ → попадание в RAG → извлечение в prompt → изменение поведения агента → вызов инструментов.
🧠 Что же помогает?
Исследователи протестировали несколько уровней защиты сразу:
1⃣ Фильтрация содержимого
Система анализирует входной контент и пытается обнаружить аномалии через embedding-based detection, чтобы замечать подозрительные инструкции ещё до попадания в reasoning pipeline.
2⃣ Иерархические системные инструкции
Вместо одного system prompt используются несколько уровней ограничений, где критичные политики сложнее переопределить.
3⃣ Многоэтапная проверка ответа
Перед выполнением действия агент проходит дополнительную verification stage:
📉 К результатам
Без защиты успешность атак доходила до 73.2%. Комбинация нескольких механизмов снизила показатель до 8.7%, при этом сохранив 94.3% исходной функциональности модели.
Большинство защит AI обычно работают по принципу «стало безопаснее, но пользоваться невозможно.». Тут все иначе, что не может не радовать.
🔗 Исследование: https://arxiv.org/abs/2511.15759
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #PromptInjection #AgenticAI #RAG #AIsecurity #CyberSecurity #AppSec #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🧠 AI-агенты знают слишком много...
На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents.
Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных:
🔹 базы данных и хранилища
🔹 файлы и таблицы
🔹 RAG-индексы
🔹 внешние API и инструменты
🔹 долговременная память агента
🔹 каналы общения между агентами
Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не через финальный ответ, а через SQL-запрос, который агент сам сгенерировал или через промежуточные результаты reasoning. А это не так-то просто контролировать.
🧨 Память, как самый опасный слой
Отдельно авторы выделяют memory-layer, потому что память агента:
1. переживает сессии
2. хранит прошлый контекст
3. может быть отравлена
4. может случайно утечь другому пользователю
Таким образом это делает prompt injection постоянным. Один вредоносный документ может записать payload в memory store, а агент достанет его через неделю уже как доверенный контекст.
Это уже не prompt injection.
🛡️ Чего еще интересного в статье?
Авторы считают, что обычного контроля доступа больше недостаточно. Нужен information-flow control. Система, которая отслеживает не просто доступ, а движение данных между всеми слоями агента. Кто что прочитал, что куда передал, что сохранил, что переиспользовал.
Privacy для AI-агентов начинает превращаться в data lineage security.
🔗 Исследование: https://arxiv.org/abs/2606.26627
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Privacy #RAG #MemorySecurity #DataSecurity #AIsecurity #SecureTechTalks
На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents.
Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных:
🔹 базы данных и хранилища
🔹 файлы и таблицы
🔹 RAG-индексы
🔹 внешние API и инструменты
🔹 долговременная память агента
🔹 каналы общения между агентами
Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не через финальный ответ, а через SQL-запрос, который агент сам сгенерировал или через промежуточные результаты reasoning. А это не так-то просто контролировать.
🧨 Память, как самый опасный слой
Отдельно авторы выделяют memory-layer, потому что память агента:
1. переживает сессии
2. хранит прошлый контекст
3. может быть отравлена
4. может случайно утечь другому пользователю
Таким образом это делает prompt injection постоянным. Один вредоносный документ может записать payload в memory store, а агент достанет его через неделю уже как доверенный контекст.
Это уже не prompt injection.
🛡️ Чего еще интересного в статье?
Авторы считают, что обычного контроля доступа больше недостаточно. Нужен information-flow control. Система, которая отслеживает не просто доступ, а движение данных между всеми слоями агента. Кто что прочитал, что куда передал, что сохранил, что переиспользовал.
Privacy для AI-агентов начинает превращаться в data lineage security.
🔗 Исследование: https://arxiv.org/abs/2606.26627
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Privacy #RAG #MemorySecurity #DataSecurity #AIsecurity #SecureTechTalks
👍2
🧨 Данные с сайтов воруют AI-агенты, а CAPTCHA больше не помогает
Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM.
На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов.
⚙️ Контент стал новой добычей
Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает документацию, следует по внутренним переходам, анализирует API, собирает статьи в единое представление, удаляет повторы и оставляет только самую ценную информацию.
В результате developer-порталы, базы знаний, help-центры и техническая документация превращаются в готовый источник данных для обучения моделей, построения RAG-систем или анализа инфраструктуры потенциальной цели.
🧠 Победить AI его же оружием
Авторы предлагают отказаться от борьбы с самим сканированием. Вместо этого они предлагают защищаться от сжатия информации. AI-агент почти всегда пытается максимально сократить объём данных без потери смысла. Если критически важные детали распределить по документу таким образом, чтобы они терялись или искажались при автоматическом summarization, ценность украденного контента резко падает.
Защита начинает работать не против HTTP-запроса, а против всей цепочки «чтение → анализ → сжатие → построение базы знаний».
🛡️ Новая гонка вооружений
Похоже, в эпоху AI-агентов защищать придётся уже не только доступ к данным, но и способность моделей понимать и эффективно извлекать их смысл.
🔗 Исследование: https://arxiv.org/abs/2607.08180
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #RAG #WebSecurity #ThreatModeling #DataProtection #CyberSecurity #SecureTechTalks
Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM.
На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов.
⚙️ Контент стал новой добычей
Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает документацию, следует по внутренним переходам, анализирует API, собирает статьи в единое представление, удаляет повторы и оставляет только самую ценную информацию.
В результате developer-порталы, базы знаний, help-центры и техническая документация превращаются в готовый источник данных для обучения моделей, построения RAG-систем или анализа инфраструктуры потенциальной цели.
🧠 Победить AI его же оружием
Авторы предлагают отказаться от борьбы с самим сканированием. Вместо этого они предлагают защищаться от сжатия информации. AI-агент почти всегда пытается максимально сократить объём данных без потери смысла. Если критически важные детали распределить по документу таким образом, чтобы они терялись или искажались при автоматическом summarization, ценность украденного контента резко падает.
Защита начинает работать не против HTTP-запроса, а против всей цепочки «чтение → анализ → сжатие → построение базы знаний».
🛡️ Новая гонка вооружений
Похоже, в эпоху AI-агентов защищать придётся уже не только доступ к данным, но и способность моделей понимать и эффективно извлекать их смысл.
🔗 Исследование: https://arxiv.org/abs/2607.08180
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #RAG #WebSecurity #ThreatModeling #DataProtection #CyberSecurity #SecureTechTalks
👍1
🧨 Дообучение LLM кибербезопасности может сделать ответы модели хуже
Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.
Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).
⚙️ Проблема не всегда там, где вы её ищете
Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).
Он разделяет способности модели на три независимых слоя:
🔹 Vocabulary: понимает ли модель security-термины и их значения;
🔹 Knowledge: действительно ли она знает предметную область;
🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.
🧠 Неожиданный эффект
В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.
У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.
То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.
📉 Другие изменения
После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.
Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.
🛡️ RAG или Fine-tuning?
Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.
Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.
🔗 Исследование: https://arxiv.org/abs/2607.18725
🔗 Код: https://github.com/shaswata09/FiT
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks
Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.
Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).
⚙️ Проблема не всегда там, где вы её ищете
Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).
Он разделяет способности модели на три независимых слоя:
🔹 Vocabulary: понимает ли модель security-термины и их значения;
🔹 Knowledge: действительно ли она знает предметную область;
🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.
🧠 Неожиданный эффект
В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.
У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.
То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.
📉 Другие изменения
После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.
Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.
🛡️ RAG или Fine-tuning?
Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.
Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.
🔗 Исследование: https://arxiv.org/abs/2607.18725
🔗 Код: https://github.com/shaswata09/FiT
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks
👍1
🧨 MITRE-SAGE: расследование киберинцидентов
LLM неплохо объясняет, что такое CVE или MITRE ATT&CK, но узкоспециализированных вопросов приходится одновременно искать факты, связывать сущности между собой и проверять несколько источников. Обычный RAG с набором текстовых чанков с этим справляется далеко не всегда.
⚙️ Команда вместо одного агента
Авторы MITRE-SAGE собрали многоагентную систему, где разные модели занимаются разными частями сбора информации.
🔹 Graph Agent ищет связи в графе на основе MITRE и NVD;
🔹 Text Agent извлекает информацию из документов;
🔹 Web Agent ищет свежие сведения в интернете;
🔹 отдельные агенты сокращают найденную информацию и отбрасывают нерелевантные данные;
🔹 Orchestrator решает, какие источники подключить, сравнивает результаты и формирует ответ.
Модель сначала разбивает вопрос на подзадачи, собирает доказательства из разных источников и только после этого отвечает.
🧠 Главное не количество агентов
Интересно, что авторы отдельно создали MITRE-QA, набор из 3000 вопросов по кибербезопасности.
В нём есть обычные вопросы о CVE и CWE, поиск сущностей, анализ связей, профилирование угроз и более сложные multi-hop задачи, где ответ приходится собирать из нескольких связанных фактов.
В результате MITRE-SAGE показал лучший результат в 5 из 8 задач, а на структурированном поиске знаний получил accuracy 89% против 31% у GPT-4.1.
На некоторых задачах преимущество доходило до 58%, а корректность генерируемых ответов улучшалась до 35,5% относительно наиболее сильного baseline.
🔥 Ресурсы
Система работает на относительно небольших open source моделях: оркестратор использует Qwen2.5-14B, остальные агенты работают на Qwen2.5-7B. Эксперимент запускался на одной NVIDIA A100 80 GB.
В данном подходе LLM становится скорее координатором, нежели энциклопедией, которая пытается всё вспомнить сама.
🔗 Исследование: arXiv 2608.16921
🔗 MITRE-QA: GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #MITREATTACK #ThreatIntelligence #SOC #AgenticAI #AISecurity #SecureTechTalks
LLM неплохо объясняет, что такое CVE или MITRE ATT&CK, но узкоспециализированных вопросов приходится одновременно искать факты, связывать сущности между собой и проверять несколько источников. Обычный RAG с набором текстовых чанков с этим справляется далеко не всегда.
⚙️ Команда вместо одного агента
Авторы MITRE-SAGE собрали многоагентную систему, где разные модели занимаются разными частями сбора информации.
🔹 Graph Agent ищет связи в графе на основе MITRE и NVD;
🔹 Text Agent извлекает информацию из документов;
🔹 Web Agent ищет свежие сведения в интернете;
🔹 отдельные агенты сокращают найденную информацию и отбрасывают нерелевантные данные;
🔹 Orchestrator решает, какие источники подключить, сравнивает результаты и формирует ответ.
Модель сначала разбивает вопрос на подзадачи, собирает доказательства из разных источников и только после этого отвечает.
🧠 Главное не количество агентов
Интересно, что авторы отдельно создали MITRE-QA, набор из 3000 вопросов по кибербезопасности.
В нём есть обычные вопросы о CVE и CWE, поиск сущностей, анализ связей, профилирование угроз и более сложные multi-hop задачи, где ответ приходится собирать из нескольких связанных фактов.
В результате MITRE-SAGE показал лучший результат в 5 из 8 задач, а на структурированном поиске знаний получил accuracy 89% против 31% у GPT-4.1.
На некоторых задачах преимущество доходило до 58%, а корректность генерируемых ответов улучшалась до 35,5% относительно наиболее сильного baseline.
🔥 Ресурсы
Система работает на относительно небольших open source моделях: оркестратор использует Qwen2.5-14B, остальные агенты работают на Qwen2.5-7B. Эксперимент запускался на одной NVIDIA A100 80 GB.
В данном подходе LLM становится скорее координатором, нежели энциклопедией, которая пытается всё вспомнить сама.
🔗 Исследование: arXiv 2608.16921
🔗 MITRE-QA: GitHub
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #MITREATTACK #ThreatIntelligence #SOC #AgenticAI #AISecurity #SecureTechTalks
👍1