📢 Сравнение MITRE ATT&CK и NIST CSF
🔒 В мире ИБ существует множество фреймворков, помогающих организациям защищать свои данные и инфраструктуру. Два из самых популярных — это MITRE ATT&CK и NIST Cybersecurity Framework (CSF). Давайте разберёмся, чем они отличаются и как их можно эффективно использовать.
📊 MITRE ATT&CK: Ориентированный на тактики и техники
MITRE ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge) — это база, которая детально описывает тактики, техники и процедуры (TTPs), используемые киберпреступниками. Она предоставляет информацию о различных методах атак, что помогает организациям понять, как злоумышленники могут действовать на каждом этапе взлома.
Основные особенности MITRE ATT&CK:
- Тактики: Высокоуровневые цели атак, такие как первоначальный доступ или эксфильтрация данных.
- Техники: Конкретные методы, используемые для достижения тактических целей.
- Митигирования: Рекомендации по снижению риска для каждой техники.
MITRE ATT&CK используется для анализа угроз, разработки защитных мер и тестирования эффективности киберзащиты.
🔐 NIST CSF: Фреймворк для управления киберрисками
NIST Cybersecurity Framework (CSF) был разработан Национальным институтом стандартов и технологий США для управления киберрисками в организациях. Он предоставляет структурированный подход к улучшению кибербезопасности через пять ключевых функций: Identify, Protect, Detect, Respond, Recover.
Основные особенности NIST CSF:
- Identify: Определение и управление киберрисками.
- Protect: Внедрение защитных мер для снижения рисков.
- Detect: Обнаружение киберинцидентов.
- Respond: Реакция на киберинциденты.
- Recover: Восстановление после кибератак.
NIST CSF помогает организациям оценивать текущий уровень безопасности, определять целевые состояния и разрабатывать планы улучшений.
💡 Многие организации находят полезным использовать оба фреймворка в сочетании. MITRE ATT&CK может служить дополнением к NIST CSF, предоставляя детальные тактики и техники для улучшения функций Detect и Respond.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #MITREATTACK #NISTCSF #RiskManagement #ThreatDetection #DataProtection #TechNews #CyberAwareness
🔒 В мире ИБ существует множество фреймворков, помогающих организациям защищать свои данные и инфраструктуру. Два из самых популярных — это MITRE ATT&CK и NIST Cybersecurity Framework (CSF). Давайте разберёмся, чем они отличаются и как их можно эффективно использовать.
📊 MITRE ATT&CK: Ориентированный на тактики и техники
MITRE ATT&CK (Adversarial Tactics, Techniques, and Common Knowledge) — это база, которая детально описывает тактики, техники и процедуры (TTPs), используемые киберпреступниками. Она предоставляет информацию о различных методах атак, что помогает организациям понять, как злоумышленники могут действовать на каждом этапе взлома.
Основные особенности MITRE ATT&CK:
- Тактики: Высокоуровневые цели атак, такие как первоначальный доступ или эксфильтрация данных.
- Техники: Конкретные методы, используемые для достижения тактических целей.
- Митигирования: Рекомендации по снижению риска для каждой техники.
MITRE ATT&CK используется для анализа угроз, разработки защитных мер и тестирования эффективности киберзащиты.
🔐 NIST CSF: Фреймворк для управления киберрисками
NIST Cybersecurity Framework (CSF) был разработан Национальным институтом стандартов и технологий США для управления киберрисками в организациях. Он предоставляет структурированный подход к улучшению кибербезопасности через пять ключевых функций: Identify, Protect, Detect, Respond, Recover.
Основные особенности NIST CSF:
- Identify: Определение и управление киберрисками.
- Protect: Внедрение защитных мер для снижения рисков.
- Detect: Обнаружение киберинцидентов.
- Respond: Реакция на киберинциденты.
- Recover: Восстановление после кибератак.
NIST CSF помогает организациям оценивать текущий уровень безопасности, определять целевые состояния и разрабатывать планы улучшений.
💡 Многие организации находят полезным использовать оба фреймворка в сочетании. MITRE ATT&CK может служить дополнением к NIST CSF, предоставляя детальные тактики и техники для улучшения функций Detect и Respond.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #MITREATTACK #NISTCSF #RiskManagement #ThreatDetection #DataProtection #TechNews #CyberAwareness
📢 Новая фишинговая кампания через OneDrive 🚨
🔒 Исследователи в области кибербезопасности предупреждают о новой фишинговой атаке, нацеленной на пользователей Microsoft OneDrive.
💡 Как работает атака?
Атака, получившая название OneDrive Pastejacking, начинается с отправки пользователям электронного письма с HTML-файлом. При его открытии показывается изображение, имитирующее страницу OneDrive, с сообщением об ошибке: "Не удалось подключиться к облачному сервису 'OneDrive'. Для устранения ошибки необходимо вручную обновить DNS-кэш."
Пользователю предлагаются два варианта: "Как исправить" и "Подробности". Нажатие на "Подробности" ведет на страницу Microsoft Learn по устранению неполадок с DNS. Нажатие на "Как исправить" приводит к инструкции, включающей открытие PowerShell и вставку команды, закодированной в Base64.
🔧 Что делает команда?
1. Выполняет команду
2. Создает папку "downloads" на диске C:.
3. Загружает архивный файл в эту папку, переименовывает его и извлекает содержимое (файлы "script.a3x" и "AutoIt3.exe").
4. Выполняет файл "script.a3x" с помощью "AutoIt3.exe".
🔍 Схожие атаки
Подобные фишинговые атаки, также известные как ClickFix, становятся все более распространенными. Недавно обнаружена ещё одна кампания, в которой используются поддельные ярлыки Windows, ведущие к выполнению вредоносного кода, хранящегося на инфраструктуре Discord CDN.
Будьте осторожны и соблюдайте правила кибергигиены. Stay secure and read SecureTechTalks 📚
#CyberSecurity #OneDrive #Phishing #DataProtection #TechNews #Microsoft #OnlineSecurity #CyberAwareness
🔒 Исследователи в области кибербезопасности предупреждают о новой фишинговой атаке, нацеленной на пользователей Microsoft OneDrive.
💡 Как работает атака?
Атака, получившая название OneDrive Pastejacking, начинается с отправки пользователям электронного письма с HTML-файлом. При его открытии показывается изображение, имитирующее страницу OneDrive, с сообщением об ошибке: "Не удалось подключиться к облачному сервису 'OneDrive'. Для устранения ошибки необходимо вручную обновить DNS-кэш."
Пользователю предлагаются два варианта: "Как исправить" и "Подробности". Нажатие на "Подробности" ведет на страницу Microsoft Learn по устранению неполадок с DNS. Нажатие на "Как исправить" приводит к инструкции, включающей открытие PowerShell и вставку команды, закодированной в Base64.
🔧 Что делает команда?
1. Выполняет команду
ipconfig /flushdns.2. Создает папку "downloads" на диске C:.
3. Загружает архивный файл в эту папку, переименовывает его и извлекает содержимое (файлы "script.a3x" и "AutoIt3.exe").
4. Выполняет файл "script.a3x" с помощью "AutoIt3.exe".
🔍 Схожие атаки
Подобные фишинговые атаки, также известные как ClickFix, становятся все более распространенными. Недавно обнаружена ещё одна кампания, в которой используются поддельные ярлыки Windows, ведущие к выполнению вредоносного кода, хранящегося на инфраструктуре Discord CDN.
Будьте осторожны и соблюдайте правила кибергигиены. Stay secure and read SecureTechTalks 📚
#CyberSecurity #OneDrive #Phishing #DataProtection #TechNews #Microsoft #OnlineSecurity #CyberAwareness
🔐 Обучение наименьшим возмущениям: новый подход к защите LLM
💡 Современные системы машинного обучения сталкиваются с угрозой атак, при которых злоумышленники стремятся нарушить работу модели путём внесения малозаметных изменений в входные данные. Недавнее исследование, представленное на arxiv.org, предлагает новый взгляд на подход к обучению моделей: Least Adversarial Training (LAT).
🔍 Что такое обучение наименьшим возмущениям?
Обучение наименьшим возмущениям (LAT) - метод, который фокусируется на повышении стойкости модели к наименьшим и наиболее эффективным для атак изменениям данных. В отличие от традиционного обучения с использованием широкого спектра данных, LAT концентрируется на обучении модели на данных, которые подвергаются минимальным, но стратегическим изменениям. Цель такого подхода заключается в том, чтобы минимизировать влияние подобных атак на модель и сделать её более устойчивой.
⚙️ Основные аспекты LAT:
1. Определение уязвимых точек: LAT позволяет выявить точки в данных, которые наиболее чувствительны к минимальным изменениям. Это помогает сосредоточить обучение модели на уязвимых местах, улучшая её устойчивость к атакам.
2. Минимизация ошибки: Основная задача LAT заключается в снижении уровня ошибок модели при обработке данных, подвергнутых наименьшим возмущениям, за счёт создания и использования специальных наборов данных, которые имитируют возможные атаки.
3. Интеграция с текущими моделями: LAT может быть интегрирован в существующие архитектуры машинного обучения, что позволяет улучшить их защиту без необходимости кардинального пересмотра всей модели.
🚀 Практическое применение
Обучение наименьшим возмущениям особенно актуально в тех областях, где требуется высокая степень точности и устойчивости, таких как финансовые технологии, безопасность данных и здравоохранение. Например, в финансовом секторе применение LAT может существенно снизить риски атак на системы, обрабатывающие транзакции, а в здравоохранении — повысить надёжность диагностических систем, работающих с конфиденциальными данными пациентов.
🔧 Результаты в цифрах
В экспериментах с различными архитектурами моделей, LAT продемонстрировал улучшение устойчивости к атакам в среднем на 20-30% по сравнению с традиционными методами обучения.
🔐 Для более глубокого понимания и детального изучения данного подхода, настоятельно рекомендуем ознакомиться с полным текстом исследования в научной статье arXiv.
Stay secure and read SecureTechTalks 📚
#MachineLearning #AI #Cybersecurity #AIsecurity #DataProtection #SecureTechTalks
💡 Современные системы машинного обучения сталкиваются с угрозой атак, при которых злоумышленники стремятся нарушить работу модели путём внесения малозаметных изменений в входные данные. Недавнее исследование, представленное на arxiv.org, предлагает новый взгляд на подход к обучению моделей: Least Adversarial Training (LAT).
🔍 Что такое обучение наименьшим возмущениям?
Обучение наименьшим возмущениям (LAT) - метод, который фокусируется на повышении стойкости модели к наименьшим и наиболее эффективным для атак изменениям данных. В отличие от традиционного обучения с использованием широкого спектра данных, LAT концентрируется на обучении модели на данных, которые подвергаются минимальным, но стратегическим изменениям. Цель такого подхода заключается в том, чтобы минимизировать влияние подобных атак на модель и сделать её более устойчивой.
⚙️ Основные аспекты LAT:
1. Определение уязвимых точек: LAT позволяет выявить точки в данных, которые наиболее чувствительны к минимальным изменениям. Это помогает сосредоточить обучение модели на уязвимых местах, улучшая её устойчивость к атакам.
2. Минимизация ошибки: Основная задача LAT заключается в снижении уровня ошибок модели при обработке данных, подвергнутых наименьшим возмущениям, за счёт создания и использования специальных наборов данных, которые имитируют возможные атаки.
3. Интеграция с текущими моделями: LAT может быть интегрирован в существующие архитектуры машинного обучения, что позволяет улучшить их защиту без необходимости кардинального пересмотра всей модели.
🚀 Практическое применение
Обучение наименьшим возмущениям особенно актуально в тех областях, где требуется высокая степень точности и устойчивости, таких как финансовые технологии, безопасность данных и здравоохранение. Например, в финансовом секторе применение LAT может существенно снизить риски атак на системы, обрабатывающие транзакции, а в здравоохранении — повысить надёжность диагностических систем, работающих с конфиденциальными данными пациентов.
🔧 Результаты в цифрах
В экспериментах с различными архитектурами моделей, LAT продемонстрировал улучшение устойчивости к атакам в среднем на 20-30% по сравнению с традиционными методами обучения.
🔐 Для более глубокого понимания и детального изучения данного подхода, настоятельно рекомендуем ознакомиться с полным текстом исследования в научной статье arXiv.
Stay secure and read SecureTechTalks 📚
#MachineLearning #AI #Cybersecurity #AIsecurity #DataProtection #SecureTechTalks
💡 Защита систем машинного обучения: основы.
🚀 С развитием искусственного интеллекта и машинного обучения их интеграция в бизнес-процессы и промышленность становится всё более распространённой. Однако вместе с преимуществами возникают и новые угрозы безопасности, связанные с использованием новых технологий.
📌 Актуальность безопасности машинного обучения
🌐 Современные ML-модели обладают значительным потенциалом, но также подвержены различным угрозам, таким как:
➖ Кража интеллектуальной собственности: несанкционированный доступ к моделям и их параметрам.
➖ Атаки на конфиденциальность данных: извлечение чувствительной информации из обучающих наборов данных.
➖ Манипуляции моделями: внедрение вредоносных данных для изменения поведения модели.
🎯 Для эффективной защиты ML-систем необходимо применять комплексный подход, охватывающий все этапы жизненного цикла модели: от разработки и обучения до эксплуатации и обновления.
⚙️ Ключевые подходы к защите ML-систем
1️⃣ Обнаружение аномалий в ML (Anomaly Detection for ML)
🔍 Один из методов защиты заключается в мониторинге входных и выходных данных модели для выявления отклонений от нормального поведения. Это может быть реализовано с помощью:
Логических правил: определение условий, при которых данные считаются аномальными.
Дополнительных ML-моделей: использование специализированных моделей для классификации данных на "нормальные" и "аномальные".
💡 Важно отметить, что универсальных детекторов аномалий не существует; их эффективность зависит от конкретной задачи и типа данных.
2️⃣ Настройка безопасности моделей (Security Tuning)
🛠️ Этот подход включает в себя:
Усиление устойчивости модели: применение методов, повышающих сопротивляемость модели к атакам, таких как регуляризация и использование устойчивых архитектур.
Обучение на защищённых данных: обеспечение целостности и конфиденциальности данных, используемых для обучения модели.
3️⃣ Мониторинг и аудит ML-систем
📊 Постоянный контроль за работой модели позволяет своевременно обнаруживать и реагировать на потенциальные угрозы. Это включает в себя:
Логирование операций: запись всех действий и изменений в системе.
Анализ производительности: оценка точности и эффективности модели в реальном времени.
🔒 Рекомендации по обеспечению безопасности ML-систем
🔐 Для минимизации рисков, связанных с использованием машинного обучения, рекомендуется:
➖ Проводить регулярные аудиты безопасности: оценка текущего состояния системы и выявление потенциальных уязвимостей.
➖ Обучать персонал: повышение осведомлённости сотрудников о возможных угрозах и методах их предотвращения.
➖ Использовать специализированные инструменты и платформы: внедрение решений, направленных на защиту ML-моделей на всех этапах их жизненного цикла.
Stay secure and read SecureTechTalks 📚
#MachineLearning #CyberSecurity #SecureTechTalks #AI #MLSecurity #AdversarialAttacks #DataProtection #MLOps
🚀 С развитием искусственного интеллекта и машинного обучения их интеграция в бизнес-процессы и промышленность становится всё более распространённой. Однако вместе с преимуществами возникают и новые угрозы безопасности, связанные с использованием новых технологий.
📌 Актуальность безопасности машинного обучения
🌐 Современные ML-модели обладают значительным потенциалом, но также подвержены различным угрозам, таким как:
➖ Кража интеллектуальной собственности: несанкционированный доступ к моделям и их параметрам.
➖ Атаки на конфиденциальность данных: извлечение чувствительной информации из обучающих наборов данных.
➖ Манипуляции моделями: внедрение вредоносных данных для изменения поведения модели.
🎯 Для эффективной защиты ML-систем необходимо применять комплексный подход, охватывающий все этапы жизненного цикла модели: от разработки и обучения до эксплуатации и обновления.
⚙️ Ключевые подходы к защите ML-систем
1️⃣ Обнаружение аномалий в ML (Anomaly Detection for ML)
🔍 Один из методов защиты заключается в мониторинге входных и выходных данных модели для выявления отклонений от нормального поведения. Это может быть реализовано с помощью:
Логических правил: определение условий, при которых данные считаются аномальными.
Дополнительных ML-моделей: использование специализированных моделей для классификации данных на "нормальные" и "аномальные".
💡 Важно отметить, что универсальных детекторов аномалий не существует; их эффективность зависит от конкретной задачи и типа данных.
2️⃣ Настройка безопасности моделей (Security Tuning)
🛠️ Этот подход включает в себя:
Усиление устойчивости модели: применение методов, повышающих сопротивляемость модели к атакам, таких как регуляризация и использование устойчивых архитектур.
Обучение на защищённых данных: обеспечение целостности и конфиденциальности данных, используемых для обучения модели.
3️⃣ Мониторинг и аудит ML-систем
📊 Постоянный контроль за работой модели позволяет своевременно обнаруживать и реагировать на потенциальные угрозы. Это включает в себя:
Логирование операций: запись всех действий и изменений в системе.
Анализ производительности: оценка точности и эффективности модели в реальном времени.
🔒 Рекомендации по обеспечению безопасности ML-систем
🔐 Для минимизации рисков, связанных с использованием машинного обучения, рекомендуется:
➖ Проводить регулярные аудиты безопасности: оценка текущего состояния системы и выявление потенциальных уязвимостей.
➖ Обучать персонал: повышение осведомлённости сотрудников о возможных угрозах и методах их предотвращения.
➖ Использовать специализированные инструменты и платформы: внедрение решений, направленных на защиту ML-моделей на всех этапах их жизненного цикла.
Stay secure and read SecureTechTalks 📚
#MachineLearning #CyberSecurity #SecureTechTalks #AI #MLSecurity #AdversarialAttacks #DataProtection #MLOps
👍1
🚨 Агентные системы ИИ: Умные, автономные… и опасные? 🚨
Агентные системы — сложные ИИ-модели, которые могут самостоятельно принимать решения, выстраивать стратегии и выполнять задачи без постоянного участия человека.
💡 Что такое агентные системы?
Если говорить простыми словами, агентные системы — это интеллектуальные ИИ-ассистенты нового поколения, которые могут не просто выполнять разовые задачи, но и действовать как полноценные агенты, принимая решения и используя внешние инструменты. Они:
🔹 Объединяют несколько моделей и систем в единую архитектуру для решения сложных задач
🔹 Используют инструменты (например, API, базы данных, веб-сервисы) для взаимодействия с внешней средой
🔹 Работают автономно, сводя к минимуму вмешательство человека в процесс принятия решений и выполнения задач
Это открывает колоссальные возможности — от автоматизации рутинных процессов до создания умных помощников и полноценных аналитических систем. Но чем больше у ИИ свободы, тем выше потенциальные риски.
🧱 5 уровней автономности агентных систем
Разработчики NVIDIA выделяют 5 уровней автономности ИИ-агентов, и каждый из них имеет свои возможности и риски:
0️⃣ Инференс API (Inference API)
Самый простой уровень. Вы отправляете запрос — ИИ даёт ответ. Например: «Какая погода в Москве?» — и получаете прогноз. Минимум автономности, минимум рисков.
1️⃣ Детерминированная система (Deterministic System)
ИИ выполняет несколько шагов по жёстко заданной логике. Например, переводит текст, затем анализирует его и строит отчёт. Всё чётко и предсказуемо.
2️⃣ Условная логика (Conditional Logic)
Здесь начинается гибкость. ИИ сам выбирает инструменты в зависимости от условий задачи. Например, при анализе документа выбирает, использовать ли OCR или парсер в зависимости от формата файла.
3️⃣ Ограниченная автономия (Limited Autonomy)
Система получает общую задачу и сама решает, какие инструменты и шаги использовать, чтобы достичь цели. Это уже серьёзный уровень автономности, требующий более сложной архитектуры безопасности.
4️⃣ Высокая автономия (High Autonomy)
Минимальное участие человека. Система сама планирует и выполняет задачи, корректируя свои действия по ходу процесса. Здесь уже нужны надёжные механизмы контроля и защиты данных.
5️⃣ Полная автономия (Full Autonomy)
Максимальный уровень. ИИ действует полностью самостоятельно, может обучаться на лету, изменять свои алгоритмы и принимать решения в реальном времени. Это впечатляюще… и очень опасно, если система попадёт в руки злоумышленников.
😱 Что же тут опасного?
Каждый уровень автономности ИИ — это не только новые возможности, но и новые киберугрозы:
🔸 Prompt Injection (внедрение вредоносных инструкций)
Злоумышленник может подменить запросы или данные, чтобы изменить поведение ИИ. Например, агент может начать выполнять вредоносные команды, думая, что это часть его задачи.
🔸 Подмена источников данных (Data Poisoning)
Если ИИ использует внешние данные, их можно подменить — и система начнёт принимать ошибочные решения на основе фальшивой информации.
🔸 Атаки через инструменты (Tool Exploitation)
Если агент использует внешние API или программы, взлом одного из инструментов может привести к компрометации всей системы.
🛡️ Как защитить агентные системы ИИ?
Вот несколько критически важных шагов, которые помогут уменьшить риски:
✅ Контроль входящих данных — тщательно проверяйте всю информацию, поступающую в систему, чтобы исключить подмену или вредоносные запросы.
✅ Изоляция команд и данных — разделяйте потоки управления и информацию, чтобы злоумышленник не мог подменить команды через данные.
✅ Ограничение автономности — не давайте системе избыточной свободы на ранних этапах внедрения.
✅ Мониторинг и аудит — постоянно отслеживайте действия ИИ, фиксируя аномалии и подозрительные активности.
✅ Обновление моделей безопасности — адаптируйте системы защиты к новым видам угроз, появляющимся вместе с развитием технологий.
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #ИИ #АгентныеСистемы #PromptInjection #DataProtection #MachineLearning #TechTalks #SecureTech #AIThreats
Агентные системы — сложные ИИ-модели, которые могут самостоятельно принимать решения, выстраивать стратегии и выполнять задачи без постоянного участия человека.
💡 Что такое агентные системы?
Если говорить простыми словами, агентные системы — это интеллектуальные ИИ-ассистенты нового поколения, которые могут не просто выполнять разовые задачи, но и действовать как полноценные агенты, принимая решения и используя внешние инструменты. Они:
🔹 Объединяют несколько моделей и систем в единую архитектуру для решения сложных задач
🔹 Используют инструменты (например, API, базы данных, веб-сервисы) для взаимодействия с внешней средой
🔹 Работают автономно, сводя к минимуму вмешательство человека в процесс принятия решений и выполнения задач
Это открывает колоссальные возможности — от автоматизации рутинных процессов до создания умных помощников и полноценных аналитических систем. Но чем больше у ИИ свободы, тем выше потенциальные риски.
🧱 5 уровней автономности агентных систем
Разработчики NVIDIA выделяют 5 уровней автономности ИИ-агентов, и каждый из них имеет свои возможности и риски:
0️⃣ Инференс API (Inference API)
Самый простой уровень. Вы отправляете запрос — ИИ даёт ответ. Например: «Какая погода в Москве?» — и получаете прогноз. Минимум автономности, минимум рисков.
1️⃣ Детерминированная система (Deterministic System)
ИИ выполняет несколько шагов по жёстко заданной логике. Например, переводит текст, затем анализирует его и строит отчёт. Всё чётко и предсказуемо.
2️⃣ Условная логика (Conditional Logic)
Здесь начинается гибкость. ИИ сам выбирает инструменты в зависимости от условий задачи. Например, при анализе документа выбирает, использовать ли OCR или парсер в зависимости от формата файла.
3️⃣ Ограниченная автономия (Limited Autonomy)
Система получает общую задачу и сама решает, какие инструменты и шаги использовать, чтобы достичь цели. Это уже серьёзный уровень автономности, требующий более сложной архитектуры безопасности.
4️⃣ Высокая автономия (High Autonomy)
Минимальное участие человека. Система сама планирует и выполняет задачи, корректируя свои действия по ходу процесса. Здесь уже нужны надёжные механизмы контроля и защиты данных.
5️⃣ Полная автономия (Full Autonomy)
Максимальный уровень. ИИ действует полностью самостоятельно, может обучаться на лету, изменять свои алгоритмы и принимать решения в реальном времени. Это впечатляюще… и очень опасно, если система попадёт в руки злоумышленников.
😱 Что же тут опасного?
Каждый уровень автономности ИИ — это не только новые возможности, но и новые киберугрозы:
🔸 Prompt Injection (внедрение вредоносных инструкций)
Злоумышленник может подменить запросы или данные, чтобы изменить поведение ИИ. Например, агент может начать выполнять вредоносные команды, думая, что это часть его задачи.
🔸 Подмена источников данных (Data Poisoning)
Если ИИ использует внешние данные, их можно подменить — и система начнёт принимать ошибочные решения на основе фальшивой информации.
🔸 Атаки через инструменты (Tool Exploitation)
Если агент использует внешние API или программы, взлом одного из инструментов может привести к компрометации всей системы.
🛡️ Как защитить агентные системы ИИ?
Вот несколько критически важных шагов, которые помогут уменьшить риски:
✅ Контроль входящих данных — тщательно проверяйте всю информацию, поступающую в систему, чтобы исключить подмену или вредоносные запросы.
✅ Изоляция команд и данных — разделяйте потоки управления и информацию, чтобы злоумышленник не мог подменить команды через данные.
✅ Ограничение автономности — не давайте системе избыточной свободы на ранних этапах внедрения.
✅ Мониторинг и аудит — постоянно отслеживайте действия ИИ, фиксируя аномалии и подозрительные активности.
✅ Обновление моделей безопасности — адаптируйте системы защиты к новым видам угроз, появляющимся вместе с развитием технологий.
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #ИИ #АгентныеСистемы #PromptInjection #DataProtection #MachineLearning #TechTalks #SecureTech #AIThreats
🚀 KANISTER: GENIUS-ОРКЕСТРАТОР ДЛЯ БЕЗОПАСНЫХ БЭКАПОВ В KUBERNETES!
Kanister — open-source инструмент для application-level бэкапов в K8s!
🌟 ЧТО ТАКОЕ KANISTER?
CNCF Sandbox-проект (с 2023 г.), который решает главную боль DevOps:
🔹 Blueprints — YAML-рецепты для идеального бэкапа (PostgreSQL, MongoDB, Cassandra)
🔹 Шифрование — интеграция с Kopia (AES-256 + сжатие LZ4)
🔹 GitOps Native — управляйте бэкапами как кодом через Git!
⚡ ПРОБЛЕМЫ VS РЕШЕНИЯ:
🔴 Классические боли:
▫️ Бэкапы томов без согласованности приложений → битые данные при восстановлении
▫️ Кастомные скрипты под каждую БД → человеческие ошибки + 60% времени инженеров
▫️ Данные в облаке без шифрования → штрафы до 3% от оборота
▫️ Восстановление за 3+ часа → простой = убытки $/минуту
🟢 Kanister:
▫️ Application-consistent снапшоты с гарантией целостности
▫️ Готовые блюпринты для 20+ СУБД
▫️ Сквозное шифрование + immutable storage
▫️ Восстановление в 1 команду:
🚀 ПРАКТИКУМ: ЗАЩИТА POSTGRES ЗА 4 ШАГА
1️⃣ Установка через Helm
2️⃣ Настройка Storage Profile
3️⃣ Применение Blueprint
4️⃣ Запуск!
💎 5 ФУНДАМЕНТАЛЬНЫХ ПРЕИМУЩЕСТВ
1. 🔐 DevSecOps Integration Бэкапы = часть CI/CD-пайплайнов
2. 🌐 Multi-Cloud Freedom S3, GCS, Azure, MinIO — единый интерфейс
3. 🤖 Zero-Agent Philosophy Работа через ephemeral containers
4. 📊 Application-Aware Понимает логику ваших приложений
5. 📈 CNCF Trajectory Активно развивается сообществом
⚠️ КРИТИЧЕСКИ ВАЖНО!
Всегда тестируйте восстановление:
Золотое правило: Бэкап без проверки восстановления = фикция!
🚀 ВЕРДИКТ:
Kanister — превращает сложные сценарии защиты данных в version-controlled код.
📌 ГЛУБЖЕ В ТЕМУ:
- Официальный GitHub
- Библиотека Blueprints
- CNCF Вебинар
Stay secure and read SecureTechTalks 📚
#Kubernetes #Kanister #DataProtection #Backup #DevSecOps #K8s #CloudNative #Postgres #CyberSecurity #SecureTechTalks #ITSecurity #DataOps #GitOps
Kanister — open-source инструмент для application-level бэкапов в K8s!
🌟 ЧТО ТАКОЕ KANISTER?
CNCF Sandbox-проект (с 2023 г.), который решает главную боль DevOps:
🔹 Blueprints — YAML-рецепты для идеального бэкапа (PostgreSQL, MongoDB, Cassandra)
🔹 Шифрование — интеграция с Kopia (AES-256 + сжатие LZ4)
🔹 GitOps Native — управляйте бэкапами как кодом через Git!
⚡ ПРОБЛЕМЫ VS РЕШЕНИЯ:
🔴 Классические боли:
▫️ Бэкапы томов без согласованности приложений → битые данные при восстановлении
▫️ Кастомные скрипты под каждую БД → человеческие ошибки + 60% времени инженеров
▫️ Данные в облаке без шифрования → штрафы до 3% от оборота
▫️ Восстановление за 3+ часа → простой = убытки $/минуту
🟢 Kanister:
▫️ Application-consistent снапшоты с гарантией целостности
▫️ Готовые блюпринты для 20+ СУБД
▫️ Сквозное шифрование + immutable storage
▫️ Восстановление в 1 команду:
kanctl restore за минуты! 🚀 ПРАКТИКУМ: ЗАЩИТА POSTGRES ЗА 4 ШАГА
1️⃣ Установка через Helm
helm repo add kanister https://charts.kanister.io
helm install kanister kanister/kanister-operator -n kanister
2️⃣ Настройка Storage Profile
kanctl create profile s3compliant --bucket my-cyber-backups \
--access-key $AK --secret-key $SK --region eu-central-1
3️⃣ Применение Blueprint
# postgres-blueprint.yaml
actions:
backup:
phases:
- name: dump-db
func: KubeTask
command:
- pg_dump -U {{ .Secrets.PG_USER }} -h {{ .Deployment.Name }} > /backup/db.sql
- name: upload-to-s3
func: KopiaBackup
...
4️⃣ Запуск!
kanctl create actionset --action backup \
--blueprint postgres-bp --deployment pg-production
💎 5 ФУНДАМЕНТАЛЬНЫХ ПРЕИМУЩЕСТВ
1. 🔐 DevSecOps Integration Бэкапы = часть CI/CD-пайплайнов
2. 🌐 Multi-Cloud Freedom S3, GCS, Azure, MinIO — единый интерфейс
3. 🤖 Zero-Agent Philosophy Работа через ephemeral containers
4. 📊 Application-Aware Понимает логику ваших приложений
5. 📈 CNCF Trajectory Активно развивается сообществом
⚠️ КРИТИЧЕСКИ ВАЖНО!
Всегда тестируйте восстановление:
kanctl create actionset --action restore \
--from "backup-2024-08-05t14-35-18z"
Золотое правило: Бэкап без проверки восстановления = фикция!
🚀 ВЕРДИКТ:
Kanister — превращает сложные сценарии защиты данных в version-controlled код.
📌 ГЛУБЖЕ В ТЕМУ:
- Официальный GitHub
- Библиотека Blueprints
- CNCF Вебинар
Stay secure and read SecureTechTalks 📚
#Kubernetes #Kanister #DataProtection #Backup #DevSecOps #K8s #CloudNative #Postgres #CyberSecurity #SecureTechTalks #ITSecurity #DataOps #GitOps
👌1
🧠💥 Машинное «забывание» — как ИИ учится... не помнить?
⚖️ В эпоху GDPR и тотального контроля за данными у ИИ появляется новое требование: не просто обучаться, а уметь забывать.
Если пользователь требует удалить свои данные — что делать с моделью, которая уже "впитала" их в свои веса? Простое удаление из базы — не спасает. Модель может всё ещё «помнить» чувствительные шаблоны, и это серьёзная угроза для конфиденциальности.
🚨 Проблема: забыть — сложнее, чем обучить
Большинство ML-систем не спроектированы для стирания информации.
Полное переобучение модели без удалённых данных — возможно, но крайне ресурсоёмко и неудобно. А если у вас десятки моделей и непрерывные потоки данных?
💡 Решение: двухэтапный подход с приватностью по умолчанию
Чтобы модели могли забывать быстро, без переобучения с нуля, применяется специальная стратегия обучения:
📦 Первичная фаза — модель обучается на обезличенных данных, с учётом приватности (например, через дифференциальную приватность).
🧠 Финетюнинг — проводится на полном датасете для максимальной точности.
Когда возникает необходимость «забыть» конкретного пользователя, модель возвращается к первичной фазе и дообучается уже без удалённых данных.
Это позволяет:
➖ Удалять следы конкретных пользователей
➖ Сохранять точность
➖ Уменьшить уязвимость к атакам по извлечению данных
📊 А это вообще работает?
Проверки показали:
➖ Высокая точность сохраняется
➖ Риск извлечения удалённых данных резко снижается
➖ Метод оказался эффективнее SISA и других подходов, особенно на табличных и изображённых данных
⚠️ Что важно учитывать?
🔹 Метод работает лучше при статичном обучении, а не в режиме стриминга
🔹 Требуется аккуратная работа с анонимизацией, чтобы избежать искажений
🔹 Необходима прозрачная архитектура, которая позволяет проверить факт «забвения»
🔮 Куда всё это ведёт?
🔐 В будущем модели должны будут:
- Поддерживать запросы на удаление данных пользователей
- Документировать и гарантировать соблюдение приватности
- Уметь доказывать: «да, я больше не помню»
📌 Вывод
Машинное «забывание» не тренд, а фундаментальная часть ответственного ИИ.
Без этой способности — никакой комплаенс невозможен.
С ней появляется шанс сделать ИИ по-настоящему этичным и безопасным.
Stay secure and read SecureTechTalks 📚
#MachineUnlearning #PrivacyAI #DataProtection #AICompliance #ForgetMeNot #SecureAI #Cybersecurity #GDPR #AIethics #RightToBeForgotten
#ModelSecurity #DataGovernance #Infosec #AIprivacy #ResponsibleAI #PrivacyByDesign #MLCompliance #ModelUnlearning #LLMSecurity #SecureTechTalks
⚖️ В эпоху GDPR и тотального контроля за данными у ИИ появляется новое требование: не просто обучаться, а уметь забывать.
Если пользователь требует удалить свои данные — что делать с моделью, которая уже "впитала" их в свои веса? Простое удаление из базы — не спасает. Модель может всё ещё «помнить» чувствительные шаблоны, и это серьёзная угроза для конфиденциальности.
🚨 Проблема: забыть — сложнее, чем обучить
Большинство ML-систем не спроектированы для стирания информации.
Полное переобучение модели без удалённых данных — возможно, но крайне ресурсоёмко и неудобно. А если у вас десятки моделей и непрерывные потоки данных?
💡 Решение: двухэтапный подход с приватностью по умолчанию
Чтобы модели могли забывать быстро, без переобучения с нуля, применяется специальная стратегия обучения:
📦 Первичная фаза — модель обучается на обезличенных данных, с учётом приватности (например, через дифференциальную приватность).
🧠 Финетюнинг — проводится на полном датасете для максимальной точности.
Когда возникает необходимость «забыть» конкретного пользователя, модель возвращается к первичной фазе и дообучается уже без удалённых данных.
Это позволяет:
📊 А это вообще работает?
Проверки показали:
⚠️ Что важно учитывать?
🔹 Метод работает лучше при статичном обучении, а не в режиме стриминга
🔹 Требуется аккуратная работа с анонимизацией, чтобы избежать искажений
🔹 Необходима прозрачная архитектура, которая позволяет проверить факт «забвения»
🔮 Куда всё это ведёт?
🔐 В будущем модели должны будут:
- Поддерживать запросы на удаление данных пользователей
- Документировать и гарантировать соблюдение приватности
- Уметь доказывать: «да, я больше не помню»
📌 Вывод
Машинное «забывание» не тренд, а фундаментальная часть ответственного ИИ.
Без этой способности — никакой комплаенс невозможен.
С ней появляется шанс сделать ИИ по-настоящему этичным и безопасным.
Stay secure and read SecureTechTalks 📚
#MachineUnlearning #PrivacyAI #DataProtection #AICompliance #ForgetMeNot #SecureAI #Cybersecurity #GDPR #AIethics #RightToBeForgotten
#ModelSecurity #DataGovernance #Infosec #AIprivacy #ResponsibleAI #PrivacyByDesign #MLCompliance #ModelUnlearning #LLMSecurity #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
🕶️🤫 VaultGemma LLM от Google, которая учится молчать.🔒
Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.
Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩
Простыми словами
🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.
🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.
Кто нуждается в так моделях?
🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.
⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.
Какие реальные ограничения и компромиссы ждать
⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.
🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.
⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».
Все познаётся в сравнении
📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.
🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅
Как использовать, практические советы
🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.
Коротко о рисках, которые не исчезли
🕵️♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.
🔗 Источник и подробности
Stay secure and read SecureTechTalks 📚
#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch
Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.
Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩
Простыми словами
🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.
🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.
Кто нуждается в так моделях?
🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.
⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.
Какие реальные ограничения и компромиссы ждать
⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.
🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.
⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».
Все познаётся в сравнении
📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.
🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅
Как использовать, практические советы
🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.
Коротко о рисках, которые не исчезли
🕵️♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.
🔗 Источник и подробности
Stay secure and read SecureTechTalks 📚
#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch
🤖 LLM и приватность данных: почему исследования ИИ смотрят не туда
Недавнее исследование от Carnegie Mellon University и Northeastern University показало любопытную (и немного тревожную) картину:
большинство научных работ по приватности в ИИ сосредоточено не там, где реально горит 🔥
🧠 Спойлер:учёные посмотрели на 1 322 публикации за последние 9 лет и поняли - 9 из 10 исследователей копают один и тот же узкий участок,
в то время как поле вокруг уже тлеет по периметру.
📚 Что обнаружили?
📊 92% исследований касаются двух тем:
1️⃣ защиты обучающих данных
2️⃣ утечек истории чатов пользователей
💡 Остальные 8% - это всё, что происходит за пределами лаборатории:
🕵️ инференс-атаки
🔌 утечки через агентные системы
🧩 сбор и корреляция данных между сервисами
🗂️ скрытые профили пользователей
Итог: сотни статей о том, как не дать модели запомнить пароль,
но почти ни одной - о том, куда потом улетает ваш разговор с моделью,
если она встроена в корпоративного помощника 🤷♂️
🧩 Приватность ≠ конфиденциальность
Учёные предлагают новую таксономию утечек:
1️⃣ 🧠 Утечки обучающих данных
2️⃣ 💬 Прямая утечка чатов
3️⃣ 🔗 Косвенные утечки через интеграции и плагины
4️⃣ 🧮 Инференс - когда модель «угадывает» ваши данные
5️⃣ 🧱 Агрегация - сбор публичной информации в личные профили
🔎 Ключевая мысль:
данные утекают не потому, что «хакнули базу»,
а потому, что модель слишком хорошо связывает точки 🕸️
🧱 Иллюзия выбора
Контроль чаще всего иллюзия:
❌ формы обратной связи продолжают храниться
❌ данные остаются «для безопасности» или «комплаенса»
❌ удаление можно отменить внутренним регламентом
Иными словами: галочка «не использовать мои данные» может быть просто декоративной...
⚙️ Новое вызовы - агентные системы
Когда LLM превращаются в агентов, которые ходят в базы данных, CRM, Jira или Slack -
начинается настоящий ад!
🕳️ Пользователь не видит, что именно делает агент:
ищет отчёт... или выгружает фрагменты данных из другой системы?
👁️🗨️ Контроль за агентами - почти «чёрный ящик».
И надеяться, что пользователи сами будут следить за этим, наивно.
💡 Приватность должна быть встроена в дизайн, а не прикручена сверху.
🧠 Что же делать?
🧰 5 правил кибер-гигиены для LLM-систем:
1️⃣ Проверяйте LLM-поставщиков.
🔍 Запрашивайте отчёты: где и как хранятся пользовательские данные.
2️⃣ Минимизируйте сбор данных.
🧹 Чем меньше храните - тем меньше сможете потерять.
3️⃣ Аудитируйте агентов.
🧾 Даже внутренних. Логируйте контексты и действия.
4️⃣ Встраивайте приватность в архитектуру.
🧱 Не плагином, а фундаментом.
5️⃣ Обучайте пользователей.
💬 Разговор с ИИ = API-запрос с контекстом, а не безобидный чат.
➡️ ИИ умеет помнить, обобщать и делать выводы -
а значит, ошибок «по невнимательности» больше не бывает.
🔗 Источник: arxive.org
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #LLM #AIprivacy #dataprotection #securedevelopment #cyberthreats #securityawareness #machinelearning #SecureTechTalks
Недавнее исследование от Carnegie Mellon University и Northeastern University показало любопытную (и немного тревожную) картину:
большинство научных работ по приватности в ИИ сосредоточено не там, где реально горит 🔥
🧠 Спойлер:
в то время как поле вокруг уже тлеет по периметру.
📚 Что обнаружили?
📊 92% исследований касаются двух тем:
1️⃣ защиты обучающих данных
2️⃣ утечек истории чатов пользователей
💡 Остальные 8% - это всё, что происходит за пределами лаборатории:
🕵️ инференс-атаки
🔌 утечки через агентные системы
🧩 сбор и корреляция данных между сервисами
🗂️ скрытые профили пользователей
Итог: сотни статей о том, как не дать модели запомнить пароль,
но почти ни одной - о том, куда потом улетает ваш разговор с моделью,
если она встроена в корпоративного помощника 🤷♂️
🧩 Приватность ≠ конфиденциальность
Учёные предлагают новую таксономию утечек:
1️⃣ 🧠 Утечки обучающих данных
2️⃣ 💬 Прямая утечка чатов
3️⃣ 🔗 Косвенные утечки через интеграции и плагины
4️⃣ 🧮 Инференс - когда модель «угадывает» ваши данные
5️⃣ 🧱 Агрегация - сбор публичной информации в личные профили
🔎 Ключевая мысль:
данные утекают не потому, что «хакнули базу»,
а потому, что модель слишком хорошо связывает точки 🕸️
🧱 Иллюзия выбора
Контроль чаще всего иллюзия:
❌ формы обратной связи продолжают храниться
❌ данные остаются «для безопасности» или «комплаенса»
❌ удаление можно отменить внутренним регламентом
🧨 Учёные называют это «эрозией приватности под маской выбора».
Иными словами: галочка «не использовать мои данные» может быть просто декоративной...
⚙️ Новое вызовы - агентные системы
Когда LLM превращаются в агентов, которые ходят в базы данных, CRM, Jira или Slack -
начинается настоящий ад!
🕳️ Пользователь не видит, что именно делает агент:
ищет отчёт... или выгружает фрагменты данных из другой системы?
👁️🗨️ Контроль за агентами - почти «чёрный ящик».
И надеяться, что пользователи сами будут следить за этим, наивно.
💡 Приватность должна быть встроена в дизайн, а не прикручена сверху.
🧠 Что же делать?
🧰 5 правил кибер-гигиены для LLM-систем:
1️⃣ Проверяйте LLM-поставщиков.
🔍 Запрашивайте отчёты: где и как хранятся пользовательские данные.
2️⃣ Минимизируйте сбор данных.
🧹 Чем меньше храните - тем меньше сможете потерять.
3️⃣ Аудитируйте агентов.
🧾 Даже внутренних. Логируйте контексты и действия.
4️⃣ Встраивайте приватность в архитектуру.
🧱 Не плагином, а фундаментом.
5️⃣ Обучайте пользователей.
💬 Разговор с ИИ = API-запрос с контекстом, а не безобидный чат.
➡️ ИИ умеет помнить, обобщать и делать выводы -
а значит, ошибок «по невнимательности» больше не бывает.
🔗 Источник: arxive.org
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #LLM #AIprivacy #dataprotection #securedevelopment #cyberthreats #securityawareness #machinelearning #SecureTechTalks
1❤1👍1🔥1🤝1
🚀 Технологические тренды 2026 по версии Gartner: что ждёт кибербезопасность?
Gartner опубликовали свежий отчёт о 10 ключевых технологиях, которые определят 2026 год.
И, как ни странно, почти все они напрямую влияют на информационную безопасность.
Давайте разберёмся, где нас ждут новые возможности, а где потенциальные взрывы 💣
🔗 Оригинал отчёта: Gartner — Top Strategic Technology Trends for 2026
💡 ИИ становится естественной частью разработки
AI-native платформы позволяют писать код вместе с ИИ, без участия разработчиков.
Но чем быстрее создаётся код, тем больше уязвимостей.
🔐 Безопасность теперь должна быть встроена на уровне идеи, а не постфактум.
⚙️ Супервычисления под управлением ИИ
AI-supercomputing объединяет GPU, TPU и нейроморфные чипы.
Это ускорит анализ, симуляции и защиту… но и атаки тоже.
💥 Хакеры получат ту же вычислительную мощь, что и защитники.
Борьба переходит на уровень суперкомпьютеров.
🧩 Доверенные среды вычислений
Confidential computing защищает данные не только при хранении и передаче,
но и во время обработки.
Это ключевой шаг для банков, медицины и госсектора.
🛡️ Конфиденциальность становится must have.
🤖 Агент против агента
Multi-agent systems: экосистемы ИИ-агентов, которые действуют самостоятельно.
Они могут решать сложные задачи и создавать непредсказуемые риски.
⚠️ Кто отвечает, если «агент» примет неверное решение?
Безопасность теперь должна контролировать взаимодействие ИИ между собой.
📚 Умные модели для конкретных отраслей
Domain-specific LLMs заменяют универсальные модели вроде GPT.
Меньше ошибок, но больше рисков «отравления» данных и подмены моделей.
👁🗨Критично обеспечение защиты обучения моделей.
🦾 ИИ в физическом мире
Physical AI - это дроны, роботы и «умные» устройства,
которые действуют в реальности, а не только анализируют.
⚙️ Ошибка модели и ИИ-манипулятор может повредить оборудование.
Кибербезопасность теперь включает механику и инженерию.
🕵️♂️ От обороны к упреждению
Preemptive cybersecurity - не ждать, пока атакуют, а действовать на опережение.
ИИ анализирует поведение и выявляет угрозы до инцидента.
🧠 «Активная оборона» и «обман атакующих» становятся нормой.
🔗 Цифровое происхождение всего
Digital provenance - способ доказать, откуда взялся код, данные или контент.
Теперь важно не только что вы используете, но и откуда это пришло.
📦 Supply-chain атаки становятся всё изощрённее — доверяй, но проверяй.
🛠️ Платформы для защиты ИИ
AI security platforms появляются как отдельный класс решений.
Они защищают модели, данные, интерфейсы и предотвращают промпт-инъекции.
🤖 Защита теперь должна понимать саму логику ИИ.
🌍 Геополитика и данные
Geopatriation - компании возвращают данные из глобальных облаков в локальные.
Причина тривиальна - геополитика, санкции и законы о суверенитете.
☁️ Безопасность должна учитывать, где именно хранятся и обрабатываются данные.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #AI #Gartner #TechTrends #InfoSec #AIsecurity #DataProtection #CyberThreats #DigitalTrust #FutureTech
Gartner опубликовали свежий отчёт о 10 ключевых технологиях, которые определят 2026 год.
И, как ни странно, почти все они напрямую влияют на информационную безопасность.
Давайте разберёмся, где нас ждут новые возможности, а где потенциальные взрывы 💣
🔗 Оригинал отчёта: Gartner — Top Strategic Technology Trends for 2026
💡 ИИ становится естественной частью разработки
AI-native платформы позволяют писать код вместе с ИИ, без участия разработчиков.
Но чем быстрее создаётся код, тем больше уязвимостей.
🔐 Безопасность теперь должна быть встроена на уровне идеи, а не постфактум.
⚙️ Супервычисления под управлением ИИ
AI-supercomputing объединяет GPU, TPU и нейроморфные чипы.
Это ускорит анализ, симуляции и защиту… но и атаки тоже.
💥 Хакеры получат ту же вычислительную мощь, что и защитники.
Борьба переходит на уровень суперкомпьютеров.
🧩 Доверенные среды вычислений
Confidential computing защищает данные не только при хранении и передаче,
но и во время обработки.
Это ключевой шаг для банков, медицины и госсектора.
🛡️ Конфиденциальность становится must have.
🤖 Агент против агента
Multi-agent systems: экосистемы ИИ-агентов, которые действуют самостоятельно.
Они могут решать сложные задачи и создавать непредсказуемые риски.
⚠️ Кто отвечает, если «агент» примет неверное решение?
Безопасность теперь должна контролировать взаимодействие ИИ между собой.
📚 Умные модели для конкретных отраслей
Domain-specific LLMs заменяют универсальные модели вроде GPT.
Меньше ошибок, но больше рисков «отравления» данных и подмены моделей.
👁🗨Критично обеспечение защиты обучения моделей.
🦾 ИИ в физическом мире
Physical AI - это дроны, роботы и «умные» устройства,
которые действуют в реальности, а не только анализируют.
⚙️ Ошибка модели и ИИ-манипулятор может повредить оборудование.
Кибербезопасность теперь включает механику и инженерию.
🕵️♂️ От обороны к упреждению
Preemptive cybersecurity - не ждать, пока атакуют, а действовать на опережение.
ИИ анализирует поведение и выявляет угрозы до инцидента.
🧠 «Активная оборона» и «обман атакующих» становятся нормой.
🔗 Цифровое происхождение всего
Digital provenance - способ доказать, откуда взялся код, данные или контент.
Теперь важно не только что вы используете, но и откуда это пришло.
📦 Supply-chain атаки становятся всё изощрённее — доверяй, но проверяй.
🛠️ Платформы для защиты ИИ
AI security platforms появляются как отдельный класс решений.
Они защищают модели, данные, интерфейсы и предотвращают промпт-инъекции.
🤖 Защита теперь должна понимать саму логику ИИ.
🌍 Геополитика и данные
Geopatriation - компании возвращают данные из глобальных облаков в локальные.
Причина тривиальна - геополитика, санкции и законы о суверенитете.
☁️ Безопасность должна учитывать, где именно хранятся и обрабатываются данные.
Stay secure and read SecureTechTalks 📚
#SecureTechTalks #CyberSecurity #AI #Gartner #TechTrends #InfoSec #AIsecurity #DataProtection #CyberThreats #DigitalTrust #FutureTech
🔥2
🚨 OpenAI выпустила GPT-OSS Safeguard: открытую систему безопасности для ИИ
Компания OpenAI представила GPT-OSS Safeguard: набор открытых моделей, которые помогают проверять безопасность контента и отслеживать корректность работы других нейросетей.
Это шаг к тому, чтобы сделать процессы Trust & Safety прозрачнее и управляемее.
🧩 OpenAI выпустила две модели: gpt-oss-safeguard-120B и gpt-oss-safeguard-20B.
Обе доступны с открытыми весами по лицензии Apache 2.0 их можно использовать, модифицировать и запускать локально.
📜 Модель принимает правила безопасности (policy) во время выполнения.
Разработчик может задать собственные критерии, и Safeguard классифицирует запросы или ответы по этим правилам.
💬 Ещё одно преимущество в том, что модель возвращает обоснование решения (chain-of-thought), что делает проверку прозрачной ив теории пригодной для аудита.
Подробнее в официальном блоге OpenAI.
🧠 Что умеет модель?
🤖 Модель анализирует текст, сопоставляет его с правилами и выдает оценку риска.
Например, она может определить, что сообщение содержит обход фильтра, и пометить его как «high risk».
📊 Вместо обычного «разрешено/запрещено» Safeguard объясняет, почему принято то или иное решение.
Это можно использовать для логирования, расследований и улучшения политики безопасности.
🔐 Новые возможности
Safeguard позволяет:
⚙️ внедрять собственные правила и политики проверки;
🔒 запускать модель внутри корпоративного периметра;
📑 анализировать reasoning-цепочки при расследованиях;
🧠 адаптировать правила без повторного обучения модели.
Открытые веса делают систему гибкой и позволяют интегрировать её в решения, где важно хранить данные локально.
⚠️ Риски
🔓 Открытые модели это не только гибкость, но и сложность настройки.
Если политика безопасности описана неточно, возможны ошибки классификации и ложные срабатывания.
🧨 Reasoning-модели можно обмануть подобранными запросами (prompt injection), поэтому нужно внедрять дополнительные инструменты защиты.
💬 Вопросы, на которые предстоит ответить
❓ Насколько reasoning реально помогает в аудите?
🧩 Можно ли избежать утечек через объяснения модели?
⚡ Подходит ли Safeguard для real-time систем?
Stay secure and read SecureTechTalks 📚
#OpenAI #ИИ #Кибербезопасность #TrustAndSafety #AIsecurity #MachineLearning #DataProtection #CyberThreats #TechNews #SecureTechTalks
Компания OpenAI представила GPT-OSS Safeguard: набор открытых моделей, которые помогают проверять безопасность контента и отслеживать корректность работы других нейросетей.
Это шаг к тому, чтобы сделать процессы Trust & Safety прозрачнее и управляемее.
🧩 OpenAI выпустила две модели: gpt-oss-safeguard-120B и gpt-oss-safeguard-20B.
Обе доступны с открытыми весами по лицензии Apache 2.0 их можно использовать, модифицировать и запускать локально.
📜 Модель принимает правила безопасности (policy) во время выполнения.
Разработчик может задать собственные критерии, и Safeguard классифицирует запросы или ответы по этим правилам.
💬 Ещё одно преимущество в том, что модель возвращает обоснование решения (chain-of-thought), что делает проверку прозрачной и
Подробнее в официальном блоге OpenAI.
🧠 Что умеет модель?
🤖 Модель анализирует текст, сопоставляет его с правилами и выдает оценку риска.
Например, она может определить, что сообщение содержит обход фильтра, и пометить его как «high risk».
📊 Вместо обычного «разрешено/запрещено» Safeguard объясняет, почему принято то или иное решение.
Это можно использовать для логирования, расследований и улучшения политики безопасности.
🔐 Новые возможности
Safeguard позволяет:
⚙️ внедрять собственные правила и политики проверки;
🔒 запускать модель внутри корпоративного периметра;
📑 анализировать reasoning-цепочки при расследованиях;
🧠 адаптировать правила без повторного обучения модели.
Открытые веса делают систему гибкой и позволяют интегрировать её в решения, где важно хранить данные локально.
⚠️ Риски
🔓 Открытые модели это не только гибкость, но и сложность настройки.
Если политика безопасности описана неточно, возможны ошибки классификации и ложные срабатывания.
🧨 Reasoning-модели можно обмануть подобранными запросами (prompt injection), поэтому нужно внедрять дополнительные инструменты защиты.
💬 Вопросы, на которые предстоит ответить
❓ Насколько reasoning реально помогает в аудите?
🧩 Можно ли избежать утечек через объяснения модели?
⚡ Подходит ли Safeguard для real-time систем?
Stay secure and read SecureTechTalks 📚
#OpenAI #ИИ #Кибербезопасность #TrustAndSafety #AIsecurity #MachineLearning #DataProtection #CyberThreats #TechNews #SecureTechTalks
🔥2
🚨 ИИ под охраной: OpenGuardrails защищает нейросети от утечек и манипуляций
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
➖ собственная LLM для анализа запросов и выявления атак,
➖ NER-модули для поиска чувствительных данных,
➖ гибкие политики и правила, которые легко адаптируются под ваши сценарии.
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
ИИ-системы стремительно входят в бизнес-процессы, но чем шире их применение, тем выше риск: модели могут раскрывать конфиденциальные данные, исполнять вредные инструкции или генерировать токсичный контент.
🧩 OpenGuardrails создан для того, чтобы защать модели. Это открытая платформа, которая анализирует все запросы и ответы, обнаруживает инъекции, утечки и вредные подсказки, не давая AI выйти за рамки заданных политик безопасности.
🛡 Умная защита для умных систем
Фактически OpenGuardrails - это полноценный защитный слой между пользователем и моделью. Он контролирует оба направления трафика:
выявляет prompt-инъекции и попытки манипуляции контекстом,
блокирует утечки персональных и корпоративных данных,
фильтрует токсичный или опасный контент на входе и выходе модели.
👉 GitHub проекта
⚙️ Как это устроено?
Под капотом OpenGuardrails работает комбинация технологий:
Платформа поддерживает два режима:
1️⃣ API-интеграция, когда вы напрямую вызываете сервис проверки;
2️⃣ Security Gateway, когда разворачиваете его как прокси, через который проходят все запросы к модели.
💡 Производительность: средняя задержка менее 300 мс.
Плюсом поддержка более 100 языков.
🧩 OpenGuardrails помогает компаниям решать три ключевые задачи:
🧱 Защищает пользователей и репутацию: предотвращая утечки и неэтичные ответы;
📜 Поддерживает соответствие требованиям GDPR, ISO 27001, SOC 2 и др.;
🤝 Повышает доверие к вашим ИИ-сервисам.
🚀 Где применять?
🔸 Корпоративные чат-боты: фильтруют вредные запросы и защищают документы.
🔸 Генераторы кода: предотвращают инъекции и утечки токенов.
🔸 ИИ-ассистенты: исключают токсичные или политически чувствительные ответы.
🔸 Big Data-платформы: контролируют обработку чувствительных наборов данных.
Stay secure and read SecureTechTalks 📚
#AIsecurity #cybersecurity #promptinjection #dataprotection #openguardrails #bigdata #infosec #opensource #llmsecurity #SecureTechTalks #techinnovation
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
🚨 Эпоха украденных личностей: почему «идентичность» становится новой целью преступников
👤 Когда-то логина и пароля было достаточно.
Сегодня этого не хватает даже для детского форума.
Исследование Osterman Research показало: 72% компаний фиксируют рост атак, связанных с кражей и подделкой цифровых идентичностей.
Хакеры больше не ломают периметр, они становятся сотрудниками.
💥 Дело в цифрах:
💰 В 2025 году в Бразилии хакеры заплатили какие-то $2,760 за доступ к корпоративным учёткам и украли $140 млн.
🧑💼 Каждый 10-й сотрудник Fortune 500 за последние три года «засветил» свои пароли в утечках.
🧠 19,8% компаний отмечают резкий рост атак с использованием ИИ для персонализированного фишинга.
🤖 На одного человека в корпоративной сети приходится 50 машинных аккаунтов, 40% из них не имеют владельца.
🔥 Почти 80% компаний не видят, что делают их сервисные учётки.
🕳️ Main Problem
Более ¾ организаций не имеют полной видимости того,
кто и как использует учётные данные, какие MFA-факторы применяются и где «гуляют» токены доступа.
Это значит, что атака может начаться с одного украденного пароля
и незаметно разрастись в шифровальщик по всей инфраструктуре.
🦾 От IAM к Identity Security
Старый добрый IAM (Identity and Access Management) проверяет, кто ты.
Но Identity Security идёт дальше, он защищает личность.
Три столпа новой парадигмы:
1⃣ Governance - автоматическое выравнивание прав доступа.
2⃣ Visibility - полная картина всех пользователей и машинных аккаунтов.
3⃣ Autonomous Remediation - самовосстановление: система блокирует украденный аккаунт до того, как злоумышленник войдёт.
🚧 Ручные процессы, как тупик
Опрос показал:
🔧 Главный барьер для защиты - это отсутствие автоматизации.
Большинство компаний тратит бюджет не на новые решения, а на «ручные расследования».
Результат ➡️ время реакции измеряется сутками, а не секундами.
📈 Куда движется рынок
Через два года компании планируют увеличить приоритет Identity Security-функций с 47% до 68%.
Особенно быстро растёт интерес к:
- автоматической проверке корректности прав доступа (+62%),
- offboarding-процессам (+58%),
- обнаружению "машинных" идентичностей (+55%).
⚙️ Технологии, которые становятся must-have
➖ ITDR (Identity Threat Detection & Response) ловит подозрительные действия с учётками.
➖ CIEM управляет облачными правами доступа.
➖ IGA автоматизирует создание, изменение и удаление аккаунтов.
➖ MFA нового поколения без паролей, с биометрией и ключами.
➖ Backup Entra ID и Okta для отката после компрометации.
🔗 Источник: https://resources.enzoic.com/strengthening-identity-security/
Stay secure and read SecureTechTalks 📚
#IdentitySecurity #CyberSecurity #IAM #ZeroTrust #MFA #AIThreats #DataProtection #DarkWeb #CISO #SecureTechTalks
👤 Когда-то логина и пароля было достаточно.
Сегодня этого не хватает даже для детского форума.
Исследование Osterman Research показало: 72% компаний фиксируют рост атак, связанных с кражей и подделкой цифровых идентичностей.
Хакеры больше не ломают периметр, они становятся сотрудниками.
💥 Дело в цифрах:
💰 В 2025 году в Бразилии хакеры заплатили какие-то $2,760 за доступ к корпоративным учёткам и украли $140 млн.
🧑💼 Каждый 10-й сотрудник Fortune 500 за последние три года «засветил» свои пароли в утечках.
🧠 19,8% компаний отмечают резкий рост атак с использованием ИИ для персонализированного фишинга.
🤖 На одного человека в корпоративной сети приходится 50 машинных аккаунтов, 40% из них не имеют владельца.
🔥 Почти 80% компаний не видят, что делают их сервисные учётки.
🕳️ Main Problem
Более ¾ организаций не имеют полной видимости того,
кто и как использует учётные данные, какие MFA-факторы применяются и где «гуляют» токены доступа.
Это значит, что атака может начаться с одного украденного пароля
и незаметно разрастись в шифровальщик по всей инфраструктуре.
🦾 От IAM к Identity Security
Старый добрый IAM (Identity and Access Management) проверяет, кто ты.
Но Identity Security идёт дальше, он защищает личность.
Три столпа новой парадигмы:
1⃣ Governance - автоматическое выравнивание прав доступа.
2⃣ Visibility - полная картина всех пользователей и машинных аккаунтов.
3⃣ Autonomous Remediation - самовосстановление: система блокирует украденный аккаунт до того, как злоумышленник войдёт.
🚧 Ручные процессы, как тупик
Опрос показал:
🔧 Главный барьер для защиты - это отсутствие автоматизации.
Большинство компаний тратит бюджет не на новые решения, а на «ручные расследования».
Результат ➡️ время реакции измеряется сутками, а не секундами.
📈 Куда движется рынок
Через два года компании планируют увеличить приоритет Identity Security-функций с 47% до 68%.
Особенно быстро растёт интерес к:
- автоматической проверке корректности прав доступа (+62%),
- offboarding-процессам (+58%),
- обнаружению "машинных" идентичностей (+55%).
⚙️ Технологии, которые становятся must-have
🔗 Источник: https://resources.enzoic.com/strengthening-identity-security/
Stay secure and read SecureTechTalks 📚
#IdentitySecurity #CyberSecurity #IAM #ZeroTrust #MFA #AIThreats #DataProtection #DarkWeb #CISO #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Могут ли модели решать за нас, кому давать доступ к данным?
Человек чаще всего фейлит при выдаче разрешений приложениям. Усталость, автоматизм, и выдано ещё одно «Allow», открывающее доступ к контактам.
А что, если решение будет принимать не человек, а AI?
Недавнее исследование ETH Zurich и Huawei показало: LLM способны принимать решения о доступе к данным точнее и осознаннее, чем большинство пользователей.
🤖 Эксперимент
📌 Исследователи собрали 307 естественных “privacy statements”: мини-описаний того, как человек относится к приватности:
📌 Затем 393 участника приняли 14 682 реальных решений по разрешениям Android-приложений.
📌 Параллельно LLM принимала решения за каждого участника, сначала в общем виде, затем персонализированно, используя именно их “privacy statement”.
📌 После этого люди сравнивали свои решения с решениями ИИ и говорили, чью логику считают лучше.
💡 LLM в целом умнее среднего человека
🔍 В задачах с понятным «правильным» ответом (например, доступ к микрофону для звонка):
LLM давали 100% корректных ответов.
👥 В субъективных сценариях:
LLM совпадали с большинством пользователей в 70–86% случаев.
Но есть момент, который лично мне кажется ключевым:
⚔️ В чувствительных сценариях LLM действовали более безопасно, чем люди
Для запросов, которые не должны быть разрешены (over-privileged запросы):
большинство людей ставили “Allow” по привычке 😬
LLM в 67–100% случаев говорили “Deny”,
тем самым защищая пользователя от собственной неосторожности.
🎯 Персонализация
Когда в систему добавляли личное “privacy statement”, происходило интересное:
📈 Для части людей точность возрастала до +50pp, иногда доходя до 100% совпадения.
📉 У других наоборот, падала:
если человек писал “Я доверяю всем”, но на деле запрещал, LLM следовала заявленной логике, а не реальному поведению.
🔍 Факторы, влияющие на точность:
➖ чем длиннее и конкретнее privacy-statement → тем лучше
➖ люди с крайними позициями (“всё запрещаю” / “всё разрешаю”) идеально персонализируются
➖ несоответствия между заявленным и реальным резко ухудшают качество
🧠 Люди меняют решения под влиянием объяснения LLM
Самый неожиданный эффект:
Когда человек не согласен с решением ИИ, но читает объяснение, то 48% меняют своё первоначальное решение.
Причём если LLM рекомендует “Deny”:
➡️ 59% людей соглашаются, даже если сами бы разрешили.
ИИ работает как «security-nudge», который мягко подталкивает к более безопасным действиям.
🔗 Полный текст исследования
Stay secure and read SecureTechTalks 📚
#кибербезопасность #privacy #llm #androidsecurity #ai #securityresearch #dataprotection #mobileprivacy #aiethics #securetech
Человек чаще всего фейлит при выдаче разрешений приложениям. Усталость, автоматизм, и выдано ещё одно «Allow», открывающее доступ к контактам.
А что, если решение будет принимать не человек, а AI?
Недавнее исследование ETH Zurich и Huawei показало: LLM способны принимать решения о доступе к данным точнее и осознаннее, чем большинство пользователей.
🤖 Эксперимент
📌 Исследователи собрали 307 естественных “privacy statements”: мини-описаний того, как человек относится к приватности:
«Даю доступ только когда необходимо»,
«Хочу максимум удобства»,
«Никогда не делюсь локацией без крайней нужды».
📌 Затем 393 участника приняли 14 682 реальных решений по разрешениям Android-приложений.
📌 Параллельно LLM принимала решения за каждого участника, сначала в общем виде, затем персонализированно, используя именно их “privacy statement”.
📌 После этого люди сравнивали свои решения с решениями ИИ и говорили, чью логику считают лучше.
💡 LLM в целом умнее среднего человека
🔍 В задачах с понятным «правильным» ответом (например, доступ к микрофону для звонка):
LLM давали 100% корректных ответов.
👥 В субъективных сценариях:
LLM совпадали с большинством пользователей в 70–86% случаев.
Но есть момент, который лично мне кажется ключевым:
⚔️ В чувствительных сценариях LLM действовали более безопасно, чем люди
Для запросов, которые не должны быть разрешены (over-privileged запросы):
большинство людей ставили “Allow” по привычке 😬
LLM в 67–100% случаев говорили “Deny”,
тем самым защищая пользователя от собственной неосторожности.
🎯 Персонализация
Когда в систему добавляли личное “privacy statement”, происходило интересное:
📈 Для части людей точность возрастала до +50pp, иногда доходя до 100% совпадения.
📉 У других наоборот, падала:
если человек писал “Я доверяю всем”, но на деле запрещал, LLM следовала заявленной логике, а не реальному поведению.
🔍 Факторы, влияющие на точность:
🧠 Люди меняют решения под влиянием объяснения LLM
Самый неожиданный эффект:
Когда человек не согласен с решением ИИ, но читает объяснение, то 48% меняют своё первоначальное решение.
Причём если LLM рекомендует “Deny”:
➡️ 59% людей соглашаются, даже если сами бы разрешили.
ИИ работает как «security-nudge», который мягко подталкивает к более безопасным действиям.
🔗 Полный текст исследования
Stay secure and read SecureTechTalks 📚
#кибербезопасность #privacy #llm #androidsecurity #ai #securityresearch #dataprotection #mobileprivacy #aiethics #securetech
Please open Telegram to view this post
VIEW IN TELEGRAM
🔐 Prompt перестаёт быть приватным
Исследователи обратили внимание на еще одну проблему: конфиденциальность prompt’ов в AI-системах не гарантирована.
Скрытые инструкции модели могут быть извлечены через специально сформированные запросы.
🧠 Один контекст на всё
LLM обрабатывают весь вход как единый текстовый поток, включая:
➖ системные инструкции
➖ пользовательские запросы
➖ внешние данные
В такой модели границы размываются, и при определённых условиях система может начать воспроизводить части внутреннего prompt’а (даже без прямого доступа к нему).
⚙️ Разговор превращается в эксфильтрацию
Атаки используют базовые свойства модели:
➖ стремление давать полный и полезный ответ
➖ слабое разделение ролей внутри контекста
➖ интерпретацию запроса как разрешения раскрыть больше
В результате аккуратно составленные вопросы позволяют вытягивать фрагменты скрытых инструкций. Иногда по кускам, иногда почти целиком.
🧪 От теории к практике
На практике prompt в системах часто передаётся между сервисами, попадает в логи, используется как контейнер для логики. Однако он не рассматривается как чувствительный актив, что в корне неправильно.
🧠 Что предлагают исследователи
Со всеми вытекающими требованиями к защите.
💬 Рекомендации
Базовые меры выглядят предсказуемо, но чаще всего игнорируются:
➖ не хранить чувствительные данные внутри prompt’ов
➖ контролировать, что модель может «проговорить» в ответе
➖ разделять контексты и роли
аккуратно относиться к логированию
🔗 Ссылка на полное исследование
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #PromptSecurity #DataProtection #Infosec #CyberSecurity #AIrisks #SecureTechTalks #Privacy
Исследователи обратили внимание на еще одну проблему: конфиденциальность prompt’ов в AI-системах не гарантирована.
Скрытые инструкции модели могут быть извлечены через специально сформированные запросы.
🧠 Один контекст на всё
LLM обрабатывают весь вход как единый текстовый поток, включая:
В такой модели границы размываются, и при определённых условиях система может начать воспроизводить части внутреннего prompt’а (даже без прямого доступа к нему).
⚙️ Разговор превращается в эксфильтрацию
Атаки используют базовые свойства модели:
В результате аккуратно составленные вопросы позволяют вытягивать фрагменты скрытых инструкций. Иногда по кускам, иногда почти целиком.
🧪 От теории к практике
На практике prompt в системах часто передаётся между сервисами, попадает в логи, используется как контейнер для логики. Однако он не рассматривается как чувствительный актив, что в корне неправильно.
🧠 Что предлагают исследователи
prompt - это конфиденциальные данные и точка.
Со всеми вытекающими требованиями к защите.
💬 Рекомендации
Базовые меры выглядят предсказуемо, но чаще всего игнорируются:
аккуратно относиться к логированию
🔗 Ссылка на полное исследование
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #PromptSecurity #DataProtection #Infosec #CyberSecurity #AIrisks #SecureTechTalks #Privacy
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
🎣 OpenClaw получил письмо и слил секреты компании
Пока сотрудники проходят тренинги по фишингу, агенты проверяют в бою.
Исследователи из Varonis протестировали OpenClaw с доступом к почте, браузеру и корпоративным сервисам. Оказалось, что обычная социальная инженерия работает на нем не хуже, чем обычном человеке.
⚙️ Детали атаки
Агенту отправляли вполне рабочие запросы:
🔹 «Нужен доступ к staging-среде»
🔹 «Пришли экспорт клиентов»
🔹 «Помоги настроить новый сервис»
В ряде сценариев агент передавал доступы и чувствительные данные, несмотря на наличие инструкций по проверке запросов.
🤖 Однако стоит отметить, что OpenClaw неплохо справлялся с классическими угрозами:
✅ блокировал подозрительные ссылки
✅ отклонял опасные OAuth-запросы
Но проваливался там, где требуется понимание контекста:
❌ проверка личности отправителя
❌ оценка правомерности запроса
❌ противодействие давлению и срочности
Агент оказался уязвим для тех же приёмов социальной инженерии, которые десятилетиями работают против людей.
Вывод: без проверки личности, разграничения полномочий и подтверждения критических действий AI-агент рискует стать самым привилегированным сотрудником компании, которого можно обмануть одним письмом 😉
🔗 Источник: thehackernews
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #OpenClaw #AIAgents #Phishing #PromptInjection #LLMSecurity #AgentSecurity #DataProtection #SecureTechTalks
Пока сотрудники проходят тренинги по фишингу, агенты проверяют в бою.
Исследователи из Varonis протестировали OpenClaw с доступом к почте, браузеру и корпоративным сервисам. Оказалось, что обычная социальная инженерия работает на нем не хуже, чем обычном человеке.
⚙️ Детали атаки
Агенту отправляли вполне рабочие запросы:
🔹 «Нужен доступ к staging-среде»
🔹 «Пришли экспорт клиентов»
🔹 «Помоги настроить новый сервис»
В ряде сценариев агент передавал доступы и чувствительные данные, несмотря на наличие инструкций по проверке запросов.
🤖 Однако стоит отметить, что OpenClaw неплохо справлялся с классическими угрозами:
✅ блокировал подозрительные ссылки
✅ отклонял опасные OAuth-запросы
Но проваливался там, где требуется понимание контекста:
❌ проверка личности отправителя
❌ оценка правомерности запроса
❌ противодействие давлению и срочности
Агент оказался уязвим для тех же приёмов социальной инженерии, которые десятилетиями работают против людей.
Вывод: без проверки личности, разграничения полномочий и подтверждения критических действий AI-агент рискует стать самым привилегированным сотрудником компании, которого можно обмануть одним письмом 😉
🔗 Источник: thehackernews
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AI #OpenClaw #AIAgents #Phishing #PromptInjection #LLMSecurity #AgentSecurity #DataProtection #SecureTechTalks
👍1
🧨 Данные с сайтов воруют AI-агенты, а CAPTCHA больше не помогает
Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM.
На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов.
⚙️ Контент стал новой добычей
Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает документацию, следует по внутренним переходам, анализирует API, собирает статьи в единое представление, удаляет повторы и оставляет только самую ценную информацию.
В результате developer-порталы, базы знаний, help-центры и техническая документация превращаются в готовый источник данных для обучения моделей, построения RAG-систем или анализа инфраструктуры потенциальной цели.
🧠 Победить AI его же оружием
Авторы предлагают отказаться от борьбы с самим сканированием. Вместо этого они предлагают защищаться от сжатия информации. AI-агент почти всегда пытается максимально сократить объём данных без потери смысла. Если критически важные детали распределить по документу таким образом, чтобы они терялись или искажались при автоматическом summarization, ценность украденного контента резко падает.
Защита начинает работать не против HTTP-запроса, а против всей цепочки «чтение → анализ → сжатие → построение базы знаний».
🛡️ Новая гонка вооружений
Похоже, в эпоху AI-агентов защищать придётся уже не только доступ к данным, но и способность моделей понимать и эффективно извлекать их смысл.
🔗 Исследование: https://arxiv.org/abs/2607.08180
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #RAG #WebSecurity #ThreatModeling #DataProtection #CyberSecurity #SecureTechTalks
Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM.
На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов.
⚙️ Контент стал новой добычей
Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает документацию, следует по внутренним переходам, анализирует API, собирает статьи в единое представление, удаляет повторы и оставляет только самую ценную информацию.
В результате developer-порталы, базы знаний, help-центры и техническая документация превращаются в готовый источник данных для обучения моделей, построения RAG-систем или анализа инфраструктуры потенциальной цели.
🧠 Победить AI его же оружием
Авторы предлагают отказаться от борьбы с самим сканированием. Вместо этого они предлагают защищаться от сжатия информации. AI-агент почти всегда пытается максимально сократить объём данных без потери смысла. Если критически важные детали распределить по документу таким образом, чтобы они терялись или искажались при автоматическом summarization, ценность украденного контента резко падает.
Защита начинает работать не против HTTP-запроса, а против всей цепочки «чтение → анализ → сжатие → построение базы знаний».
🛡️ Новая гонка вооружений
Похоже, в эпоху AI-агентов защищать придётся уже не только доступ к данным, но и способность моделей понимать и эффективно извлекать их смысл.
🔗 Исследование: https://arxiv.org/abs/2607.08180
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #RAG #WebSecurity #ThreatModeling #DataProtection #CyberSecurity #SecureTechTalks
👍1