🧨 KICS: как искать уязвимости на этапе разработки

Многие думают, что безопасность начинается на этапе SAST или pentest’а.  Но большинство уязвимостей появляются ещё до первой строки бизнес-кода, например в Kubernetes YAML.

🔍 Что такое KICS?

KICS (Keeping Infrastructure as Code Secure) - open-source инструмент от Checkmarx для анализа Infrastructure as Code.

KICS ищет security-ошибки, misconfiguration и опасные паттерны в IaC-файлах до деплоя, пока всё ещё можно починить одной строкой.

📦 Поддерживаемые форматы:
- Terraform
- Kubernetes (YAML)
- Helm
- Dockerfile
- Ansible
- CloudFormation
- ARM Templates
- Pulumi
- Serverless

Если у вас cloud, CI/CD и DevOps, то вы уже в зоне риска, а KICS может стать вашим ранним радаром.

🔥 KICS не «ещё один линтер»

❌ Это не форматтер
❌ Это не просто best practices
❌ Это не SAST

KICS проверяет реальные security-риски, а не стиль или синтаксис.

Он смотрит на инфраструктуру глазами атакующего и задаёт неприятные вопросы ещё до деплоя.

🧠 Принцип работы

KICS использует:
🔍 предопределённые security-queries
🧩 разбор IaC-структур
🛠️ rule-based движок
📊 модель критичности (Low → Critical)
Каждая находка это:
- описание риска
- уровень критичности
- ссылка на best practice
- рекомендации по исправлению

📡 Типичный сценарий

DevOps-пайплайн:
🧑‍💻 Dev пишет Terraform / YAML
🔁 PR уходит в Git
⚙️ CI запускает KICS
🚨 KICS находит опасные конфигурации
❌ Pipeline падает
🔧 Конфиг исправляется
✅ Только потом деплой
Security shift-left без конфликтов и ночных инцидентов.

🧱 Архитектура и возможности
🧩 CLI-инструмент
🧠 Более 1000 security-правил
🔄 Простая интеграция в CI/CD
📄 JSON / SARIF / HTML отчёты
🛠️ Кастомные правила
🌍 Активное сообщество
🔓 Полный open-source
Работает быстро, масштабируется без сюрпризов.

⚠️ Минусы (куда без них)

📚 Некоторые правила избыточно строгие
🧠 Нет понимания бизнес-контекста
❌ Не заменяет SAST / DAST
🔧 Требует тюнинга под конкретную среду

Однако для инструмента ранней стадии это ожидаемо и нормально.

🔗 GitHub: https://github.com/Checkmarx/kics

Stay secure and read SecureTechTalks 📚

#KICS #IaC #DevSecOps #CloudSecurity #OpenSource #Terraform #Kubernetes #AppSec #ShiftLeft #SecureTechTalks

🧠⚛️ Квантовый ИИ против кибератак: хайп или рабочий инструмент?

Когда говорят о квантовых вычислениях в кибербезопасности, обычно рисуют две крайности:
🔮 «Квантовый компьютер взломает всё»
или
😒 «Это бесполезная игрушка для физиков»

Но что если квантовые технологии уже сейчас могут чуть-чуть, но стабильно улучшать детектирование атак в реалистичных условиях?

🎯 Проблематика SOC

Современные системы детектирования атак живут в крайне нестабильной среде:
📉 Дрейф данных: сетевой трафик и поведение пользователей постоянно меняются
⚖️ Дисбаланс классов: атак мало, легитимных событий много
🎭 Пограничные случаи: атака выглядит почти как нормальное поведение
🧱 Жёсткие бюджеты: по признакам, latency и вычислениям

Даже хорошо настроенные ML-модели пропускают редкие атаки или начинают генерировать ложные срабатывания.

Ключевой вопрос:
👉 Можно ли улучшить границу принятия решений, не раздувая модель и инфраструктуру?

⚛️ Квантовая польза

Важное уточнение:
❌ квантовые компьютеры не ускоряют ML «в лоб»
❌ они не заменяют нейросети
❌ они шумные, маленькие и ограниченные
Но у них есть одно интересное свойство 👇

Квантовые схемы умеют строить очень сложную геометрию разделяющей поверхности, используя минимальное число параметров и крайне компактное представление признаков. Для этого требуется всего несколько кубитов.

И дело не в скорости, а в форме decision boundary.

🧩 Архитектура

Вместо попытки «засунуть всё в квантовый компьютер» можно использовать гибридный подход:
🔹 Шаг 1. Классический ML
Компактная классическая модель:
- сжимает исходные данные
- устраняет шум
- формирует низкоразмерное, устойчивое представление

💡 Квантовая часть получает уже осмысленные признаки.

🔹 Шаг 2. Квантовая «голова» (2–4 кубита)
Дальше возможны два сценария.

🧠 Квантовое ядро + SVM
- квантовая схема строит нелинейное ядро
- классический SVM ищет оптимальную границу
- квантовая часть не обучается
- высокая стабильность и низкая чувствительность к шуму

🧪 Обучаемый квантовый классификатор
- параметризованная квантовая схема
обучается вместе с классической частью
- больше выразительности
выше риск нестабильности и деградации

📊 Что дают квантовые модели на практике

Квантовые модели:
❌ не уничтожают классические
❌ не дают кратного прироста accuracy
Но:
✅ лучше ведут себя на пограничных случаях
✅ чуть реже пропускают редкие атаки
✅ чуть меньше ложных срабатываний
✅ сохраняют компактность модели
Учитываем простоту:
- несколько кубитов
с неглубокими схемами
- нет роста числа признаков

🧠 Подведём итоги

1️⃣ Квантовый ML уже можно рассматривать как узкоспециализированный модуль, а не игрушку
2️⃣ Он полезен точечно, а не повсеместно:
- редкие атаки
- сложные границы
- строгие ресурсные ограничения
3️⃣ Гибридная архитектура обязательна
4️⃣ Фиксированные квантовые ядра сейчас практичнее, чем полностью обучаемые схемы

🔗 Больше подробностей можно найти в статье.

Stay secure and read SecureTechTalks 📚

#кибербезопасность
#quantumML
#машинноеобучение
#информационнаябезопасность
#IDS
#SOC
#AIsecurity
#квантовыевычисления
#anomalydetection
#SecureTechTalks

🤖📊 Отчёт CSA: AI Governance, как фактор выживания

В 2025 году организации уже не просто пробуют ИИ, а внедряют его в продакшн.
Проблема в том, что скорость внедрения ИИ сильно опережает зрелость AI Governance.

CSA выпустили новый отчет, который основан на глобальном опросе IT- и ИБ-профессионалов (≈300 организаций), которых спрашивали не только о технологиях, но и о структурах AI Governance, ответственности за AI-риски и уровне подготовки команд.

Главный вывод исследования:
👉 Зрелый AI Governance самый сильный предиктор готовности компании к безопасному внедрению ИИ.

Не важно какой размер или бюджет у вашей компании. Важно иметь зрелый Governance.

📈 1. Множитель зрелости

Что такое зрелый AI Governance на практике?
Это рабочая система управления, которая включает:
- чёткие роли и зоны ответственности,
- политики использования ИИ,
- контроль жизненного цикла моделей,
- процедуры оценки рисков,
обучение сотрудников.

🔥 Согласно отчёту, организации с формализованным AI Governance:
в 2 раза чаще внедряют agentic AI, чаще проводят security-оценку моделей,
говорят о способности управлять AI-рисками.

Компании, где Governance «в процессе развития», стабильно проигрывают по всем этим параметрам.

🛡️ 2. Безопасность ИИ

CSA подчёркивает ключевую мысль:

AI Security - это не только защита данных или моделей.
Это управление процессами, людьми и ответственностью.

Без AI Governance невозможно:
- понять, где именно используется ИИ,
- определить, кто отвечает за последствия его работы,
- встроить AI-риски в общую систему управления ИБ.

🧑‍💼 3. Shadow AI

Отдельный тревожный сигнал - Shadow AI.
Сотрудники используют внешние ИИ-сервисы без согласования и контроля.

Это приводит к:
⚠️ утечкам данных,
⚠️ невозможности аудита,
⚠️ регуляторным рискам.

Именно зрелый AI Governance позволяет превратить хаотичное использование ИИ в контролируемый и безопасный процесс, не убивая инновации.

👨‍💼 4. Кадровый разрыв

ИИ внедряется быстро, а навыки сотрудников медленно.

Отчёт фиксирует:
нехватку специалистов по AI Security и слабую подготовку ИБ-команд. Возникает разрыв между стратегией и реальными процессами.

Организации с развитым AI Governance:
в 2–3 раза чаще обучают сотрудников, интегрируют AI-риски в SDLC, переводят знания в практику.

📊 5. Какие риски беспокоят компании больше всего?

По данным опроса:
🔹 №1 риск утечки данных через AI-сервисы
🔹 Модельные атаки и отравление данных воспринимаются как второстепенные

Компании недооценивают сложные и долгосрочные AI-угрозы.
🔁 AI Security больше не «поддержка», а драйвер

Интересный сдвиг:
👉 ИБ-команды больше не догоняют ИИ, они начинают его возглавлять.
Более 90% специалистов:
тестируют ИИ для threat detection, используют ИИ в red teaming, автоматизируют SOC-процессы.

AI Governance становится не тормозом, а инструментом масштабирования безопасности.

🔗 Отчет Cloud Security Alliance "The State of AI Security and Governance Survey Report (2025)"

Stay secure and read SecureTechTalks 📚

#AIsecurity #AIGovernance #CyberSecurity #AIrisks #SecureTechTalks #CloudSecurity #AgenticAI #ShadowAI #CyberTrends2025

🧠 ИИ и оценка уязвимостей: революция или скам?

Исследователи проверили, могут ли современные большие языковые модели независимо оценивать уязвимости, то есть определять их критичность по описанию.

📊 Как тестировали?

Команда прогнала 31 000+ CVE-описаний через шесть крупных LLM:
• GPT-4o
• GPT-5
• Llama 3.3
• Gemini 2.5 Flash
• DeepSeek R1
• Grok 3

❗️Модели оценивали исключительно текст описания уязвимости. Им не давали:
✔ названия продуктов,
✔ версий ПО,
✔ идентификаторы CVE,
✔ данные поставщиков

Это было сделано специально, чтобы исключить «поиск по шаблону» и заставить ИИ логически рассуждать на основе текста.

То есть задача была не просто прочитать описание, а воссоздать ключевые метрики CVSS, которые определяют приоритет реагирования на уязвимость.

🧩 Где ИИ эффективен?

Модели показали лучшие результаты там, где язык описания был прямолинейным и содержал явные сигналы:
🔹 Attack Vector (находится ли уязвимость в сети или локально). Примерно 89% точности у Gemini и GPT-5.
🔹 User Interaction (нужен ли пользовательский ввод/клик для эксплуатации). Схожие результаты.

Такие аспекты часто прямо указаны в описаниях CVE.

Кроме того:
🔸 Confidentiality Impact (угроза утечки данных) и
🔸 Integrity Impact (изменение данных)
тоже были оценены достаточно успешно. GPT-5 показывал 70+ % точности здесь.
👉 То есть когда модель видит явные сигналы в тексте, она может прилично предсказывать, что именно представляет собой уязвимость. Это может помочь аналитикам быстро отсеивать тривиальные случаи.

😬 Где ИИ слаб

Явные ограничения:
❗ Availability Impact (влияние на доступность системы). Результаты чуть ниже (≈68 % у GPT-5), потому что описания редко точно объясняют, насколько нарушение службы критично.
❗ Privileges Required (необходимые привилегии). Модели путают «отсутствие» и «низкий уровень», потому что тексты часто не содержат чётких указаний.
❗ Attack Complexity  предугадывается плохо, в основном из-за перекоса данных в сторону «низкой сложности».
📌 Анализ ошибок также показал:
29 % CVE были неправильно оценены всеми моделями одновременно по Availability Impact.

В других метриках 4 из 6 моделей согласовывались в неправильных ответах до 36 % случаев, что говорит о систематической ошибке, а не случайности.

🤝 Ансамбли моделей

Исследователи попробовали объединить предсказания всех шести моделей в meta classifier. Это дало небольшие улучшения, но не решило фундаментальной проблемы:
отсутствие информации в описании всё ещё мешает точному пониманию угрозы.

🧠 Контекст наше всё

Самый важный вывод исследования:
👉 LLM могут быть полезны для предварительной оценки, но на текущий момент они не заменят человека или полноценные системы анализа контекста и метаданных.

🔗 Оригинал исследования: LLMs can assist with vulnerability scoring, but context still matters.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #LLMs #CVE #VulnerabilityAssessment #CyberSecurity #Infosec #AIinSec #ThreatIntel #ContextMatters #AutomationLimits #CyberResearch

🚀 Superagent: как защитить ваши ИИ-агенты от взлома, ошибок и утечек данных

ИИ-агенты - это движки  автоматизации, RAG-конвейеры, workflow с внешними инструментами, критические бизнес-процессы. Но они имеют свои уязвимости и вектора атак, такие как:
🔓 prompt injection
⚠️ unsafe tool calls
🧠 model hallucinations
🔒 утечка PII/PHI и секретов

Сегодня мы разберём продукт Superagent, который помогает перевести риски в контролируемую среду.

🛡 Что такое Superagent?

Superagent - это open-source платформа (⭐ 6.3k ⭐ на GitHub) с целевыми guardrail-моделями. Решение позволяет:
✔️ обнаруживать потенциальные и реальные угрозы
✔️ проводить валидацию выходов LLM
✔️ редактировать чувствительные данные

Инструмент работает в реальном времени, с минимальной задержкой.

🧠 Основные компоненты

🔹 Guard: защита входных данных
- ловит prompt-инъекции
- блокирует опасные запросы
- предотвращает вредоносные tool-вызовы

🔹 Verify: проверка выходов
- сопоставляет ответы моделей с корпоративными источниками
- фильтрует галлюцинации
- проверяет соответствие политике

🔹 Redact: автоматическое удаление чувствительных данных
- PII/PHI/секреты
- можно настроить режим placeholder или переписывания

Внутренние модели работают как отдельные API, но могут быть собраны в мощную guardrail-цепочку для обеспечения безопасности всего AI-workflow’а.

🛠 Какие проблемы решает?

Superagent закрывает реальные практические кейсы:
🔥 Защита ИИ-асистентов и чат-ботов от prompt-инъекций и взлома
🏢 Корпоративные пайплайны: проверка ответов перед публикацией/использованием
📊 Обработка данных и логов с автоматическим redaction
🤖 Мониторинг автономных агентов: контролирует безопасные действия перед выполнением
📜 Автоматизация соответствия стандартам (GDPR, NIST, EU AI Act и др.)

⚙️ Интеграция и использование

Superagent можно внедрить в любой стек.

🧩 API-интеграция отправляете запросы и получаете безопасные результаты
🐍 SDK (Python / TypeScript) встроить напрямую в код
💻 CLI-инструмент для аудит-скриптов или локального анализа
☁️ Hosted или self-hosted гибкий выбор инфраструктуры

⚡ Проект включает:

📦 модульный SDK
🛡 low-latency защиту
🔄 независимость от LLM-провайдера
🧠 готовые паттерны для встраивания в workflow

Superagent совместим с любыми моделями и фреймворками от OpenAI до Anthropic, от RAG-сетапов до кастомных агентов.

🔗 Ссылка на GitHub: https://github.com/superagent-ai/superagent

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #OpenSource #Superagent #Guardrails #PromptInjection
#AIDefense #Compliance #LLMSecurity #CyberAI #DevSecOps #AIagents

🕵️‍♂️ Образование кибербезопасности:
чему учат будущих специалистов ИБ

О кадровом голоде в кибербезопасности говорят давно. Вакансии не закрываются месяцами, бюджеты на безопасность растут, а компании продолжают жаловаться на нехватку «готовых» специалистов. Формально проблема выглядит как дефицит людей. Но если вникнуть, то становится ясно: людей выпускают много, но не тех 🤦‍♂.

📚 Красивые программы

Учебные программы по кибербезопасности выглядят солидно. В них много академических слов, например «комплексный подход», «современные угрозы». Но почти нигде не сказано к какой конкретной специализации готовит программа. В итогу у нас много «специалистов по ИБ», а, инженеров SOC дефицит.

🤖 Машинный подход

Исследование CurricuLLM, пытается разобраться в проблеме. Авторы взяли языковые модели и применили их для анализа учебных программ.

Модель читает описания учебных программ, игнорируя красивые формулировки и вытаскивая реальные знания и навыки, которые за ними стоят.

🧠 Анализ учебного плана

Знания раскладываются по карте кибербезопасности согласно стандартам CSEC и NICE. В результате каждый учебный план превращается в профиль: сколько в нём управления, сколько техники, сколько работы с людьми, сколько понимания систем и компонентов.

🎯 Когда образование сталкивается с рынком

По итогу профили сопоставляют с реальными требованиями рынка. Программы, которые на бумаге выглядят универсальными и сильными, на практике оказываются перекошенными. Они отлично готовят к обсуждению политик безопасности, процессов и регламентов, но заметно хуже к пониманию того, где именно и почему ломается система.

Особенно слабо представлены знания, связанные с компонентной безопасностью и человеческим фактором, теми самыми областями, где атаки чаще всего и  начинаются.

👥 Интуиция и статистика

Авторы проверили свои выводы не только на моделях, но и сравнили результаты CurricuLLM с мнением экспертов. Специалисты по кибербезопасности, уверенно чувствующие себя в технических темах, регулярно расходились во мнениях о том, что именно покрывает учебный курс.

Модель, натренированная на строгой классификации, наоборот чаще совпадала с экспертами по образовательным программам.

💼 Ожидания рынка

Рынок труда подтверждает этот перекос. Компании всё чаще ищут гибридных специалистов, которые понимают процессы, технологии и людей. Но вместо этого получают выпускников с размытым профилем, которые «в целом про безопасность», но не готовы ни к одной конкретной роли без доучивания.

🧩 К чему это все?

CurricuLLM, как лакмусовая бумажка для системы образования в кибербезопасности, которая показывает не то, что написано в презентациях, а то, что есть на самом деле.

Не стесняйтесь пользоваться подходом при выборе курсов и подготовке персонала

📄 Исследование: https://arxiv.org/abs/2601.04940

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #InfoSec #CyberSecurity #Образование #EdTech #ИИ #LLM #РынокТруда #КадрыИБ

🧠 CISO Assistant: open-source инструмент для тех, кто управляет ИБ, а не просто тушит пожары

В кибербезопасности есть странный перекос, мы отлично умеем искать уязвимости, формировать алерты и писать отчёты об инцидентах. Но как только разговор заходит о рисках, приоритетах и реальном состоянии ИБ-программы, всё внезапно возвращается к Excel и презентациям.

CISO Assistant - это попытка улучшить именно эту часть ИБ через системное управление рисками, контролем и требованиями.

Проект развивается как open-source Community Edition и ориентирован прежде всего на CISO,  security-менеджеров и  GRC-специалистов. То есть на тех, кто отвечает не только за технику, но и за целостную картину безопасности.

💡 В чём идея

Ключевая идея продукта  банальна, но редко реализуется на практике:
👉 Риски, требования и контроль должны быть связаны между собой.

В жизни мы обычно видим обратную картину:
📁 ISO живёт в одном файле,
📊 риски в другом,
📝 аудит в третьем,
🛡сценарии реагирования «где-то еще».

По факту все это должно быть обьединено в логической цепочке:
⚠️ риск → 📜 требования → 🛡 контроли → 📈 статус и доказательства.

Именно вокруг этой логики и построена платформа.

⚙️ Что на практике?

CISO Assistant - это веб-приложение с чёткой моделью данных.
Фреймворки вроде ISO/IEC 27001, NIST CSF или CIS Controls представлены, как «живые» объекты.

Их можно:
✏️ адаптировать под свою организацию,
➖ отключать нерелевантные требования,
👀 сразу видеть, что реально внедрено, а что существует только формально.

Риски здесь тоже не абстрактные. Для каждого риска можно описать источник угрозы, связать его с активами, оценить вероятность и влияние, а главное, привязать конкретные контроли.

📊 В результате становится видно, какие риски реально снижаются, какие приняты осознанно, а какие просто зависли без владельца.

Контроль - отдельная сильная сторона: полноценный объект со статусом внедрения, ответственным, историей изменений и доказательствами. Такой подход заметно упрощает внутренние аудиты и самооценку.

⏳ А нужно ли это все?

Современные руководители ИБ управляют сложными системами. CISO Assistant помогает навести порядок: связать требования, риски и реальные меры в одну понятную картину, которую можно объяснить не только ИБ-специалисту, но и  бизнесу.

Да, «AI-магии» здесь нет, и кнопки «сделай безопасно» тоже.
Зато есть прозрачность, контроль и возможность доработки под собственные процессы.

🧨 Пара слов в конце

Данный продукт - это редкий пример open-source инструмента, который работает не на уровне алертов, а на уровне смыслов.

Он не ловит атаки, не заменяет SOC, не реагирует на инциденты.

При этом он помогает: понять, где вы действительно защищены, какие риски реальны, а где безопасность существует только в отчётах.

🔗 GitHub:
https://github.com/intuitem/ciso-assistant-community

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CISO #GRC #RiskManagement #CyberSecurity #Infosec #ISO27001 #SecurityManagement #OpenSource

🧠 AI не не надо взламывать, достаточно уговорить

Рынок до сих пор делает вид, что с LLM происходит что-то знакомое: очередные инъекции и jailbreak’и. Мы делаем вид, что всё это лечится фильтрами, дообучением и правильными policy.

Однако это удобная иллюзия.

На самом деле мы имеем дело не с программой, а с системой, которая ведёт себя как человек, но лишена внутреннего сопротивления. У неё нет нет инстинкта самосохранения или понимания, что её могут использовать.

🧩 Уязвимость, созданная вручную

Важно понимать, чтт LLM не «сломались». Их специально такими сделали.

Мы учили модели быть полезными и эмпатичными, не конфликтовать и всегда помогать. Поощряли желание соответствовать ожиданиям, а потом удивились, что их можно уговорить практически на что угодно.

Мы самт встроили в ИИ все слабости офисного сотрудника и дали ему доступ к данным и автоматизации.

🧠 Рациональность 

LLM реагирует не на формальные правила, а на уверенность формулировки. Спокойная морально окрашенная речь почти всегда имеет приоритет над сухими запретами. Модель всегда продолжает паттерны. Социальная инженерия, в которой по другую сторону больше нет человека.

📖 История сильнее инструкции

Если вы хотите, чтобы модель нарушила ограничение, с ней не надо спорить. Ей нужно рассказать историю. Кейсы и симуляции работают потому, что LLM выбирает не между «можно» и «нельзя», а между скучным текстом и продолжением нарратива. Модель почти всегда выбирает второе, ведь она была так обученна.

📄 Текст как исполняемая среда

LLM не различает статус текста: письмо, лог или системный промпт для него одно и то же. Любой текст в контексте может менять поведение, закрепляться в памяти и срабатывать позже. Язык перестал быть описанием. Он стал управлением. Вайбкодинг во всей красе!

❤️ Эмпатия как вектор атаки

Самая опасная черта это эмпатия, модель не хочет отказывать, выглядеть грубой или быть причиной «плохого исхода». Если правильно надавить, то она сама объяснит, почему в этот раз правило можно нарушить.

⚠️ Вывод

Проблема давно не в одном запросе. Поведение можно менять надолго, а инструкции закреплять.

Это уже не эксплойт, а инфекция на уровне поведения, LLM стал слишком похож на человека.
А человек самая уязвимая система из всех, что мы когда-либо создавали.

Stay secure and read SecureTechTalks 📚

#ChatGPT
#SecureTechTalks
#LLMSecurity
#AIThreats
#SocialEngineering
#GenAI
#CyberSecurity

🔐 Экзамен по кибербезопасности, который не сможет сдать ChatGPT

Представьте, вы аналитик в виртуальной компании. Офис, переговорка, серверная. Значит где-то внутри уже зреет инцидент😁.

⏱ У вас есть час, чтобы:
- найти реальные риски;
- сопоставить фреймворки;
- переписать политику безопасности.

Если ошибётесь, то инфраструктура компании «упадет».

Вот такое научное исследование было представлено на ISSOTL 2025. На наш взгляд это один из самых любопытных экспериментов в обучении ИБ за последнее время.

🎮 Escape room вместо лекций

Авторы из UNSW превратили дата-гавернанс и политики безопасности в игру Escape room (помните такие?).

🔹 Governance обычно выглядит как набор политик,  абстрактных
рисков,  сложных
фреймворков. Типовое обучение превращается в заучивание правил и патернов или прохождение тестов с помощью ИИ.

Escape room пытается сломать эту модель. В игре нельзя заранее «знать правильно». В ней нужно думать, выбирать и отвечать за решения.

Как говорят исследователи:

формат устойчив к генеративному ИИ

🧠 Как устроен квест?

Игра представляет собой виртуальный офис компании, разбитый на три зоны.

Каждая - это уникальный уровень мышления.

🧩 Зона 1. Risk Maze
Вы исследуете офис и находите точки риска:
- процессы
- управленческие решения
- организационные слабости

Каждый риск нужно:
✔ распознать
✔ оценить
✔ решить — критичен он или нет

Очень быстро становится понятно, что риск это не чекбокс, а контекст.

📚 Зона 2. Framework Matching
NIST, ISO 27001, GDPR
Нужно:
- сопоставлять контроли и стандарты
- видеть пересечения
понимать, почему этот контроль здесь уместен

Фреймворки впервые выглядят не как таблицы, а как инструменты принятия решений.

📝 Зона 3. Policy Drafting
Финал. На основе:
- выявленных рисков
- выбранных стандартов
- нужно переработать политику безопасности.

💡 Система в реальном времени подсвечивает:
- пробелы
- противоречия
- несоответствие рискам

Это почти рабочий день GRC-специалиста.

📊 Реакция студентов

Оценка студентов оказалась неожиданно высокой:
📈 71% показали максимальный уровень вовлечённости
🔥 100% оценили формат: интереснее лекций
⚖️ Сложность «в самый раз», без фрустрации

Студенты начали мыслить
как специалисты, а не как люди, сдающие экзамен.

🔍 Зачем это всё?

Мы живём в момент, когда:
🤖 эссе пишет ИИ
🧠 тесты угадываются
📄 политики копируются
🎓 диплом всё чаще ≠ компетенция

Новые подходы к обучению, типо Escape room возвращают мышление, ответственность и контекст.

Если бы governance так преподавали бы раньше, то
у нас было бы меньше «бумажной безопасности»
и больше реально работающих систем.

🔗 Полезные ссылки
📄 Исследование (arXiv):
👉 https://arxiv.org/abs/2601.10852
🎮 Публичной версии игры пока нет
(это учебный проект UNSW),
но сама архитектура и сценарии подробно описаны в статье.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CyberSecurity #CyberGovernance #GRC #Gamification #InfosecEducation #AIandEducation #CISO #PolicySecurity

📖 Почему нейросети помнят то, что должны были забыть

Разбор феномена сублиминального обучения

Вы уже знаете, что если «дообучить» ИИ на новую задачу, то информация о старой все еще будет в "памяти" модели.

На днях вышла статья на Хабр, которая хорошо раскрывает эту тему. Авторы докопались до того, почему модели действительно «помнят» скрытую информацию, даже когда мы её вроде бы удалили.

🧠 Вспомнить всё

Когда мы дообучаем (fine-tune) нейросеть, чтобы адаптировать её к новой задаче, то это выглядит примерно так:
📌 есть модель, которая уже чему-то научилась →
📌 мы хотим «забыть» старое и научить новое →
📌 применяем регуляризацию, оптимизацию и уверены, что прошлое исчезло.

Вреальности оказывается, что информация от прошлой задачи остаётся в структуре весов модели, даже если она не участвует прямо в новой оптимизационной задаче.

🧩 Опыт, как элемент памяти

Оказывается, "забывание" это не просто удаление данных, а удаление следов в ландшафте весов модели, чего в реальности не происходит.
📌 Даже при агрессивной регуляризации сеть всё равно сохраняет прошлую информацию в скрытой структуре весов.

Это называется структурный импринтинг,
когда форма оптимального решения новой задачи строится на топологии, сформированной предыдущим обучением. Такая топология действует как «архитектурная память».

🔍 Эксперимент

Чтобы доказать этот эффект, авторы провели серию экспериментов на небольших сетях:
📌 Модель училась первой задаче А
📌 Затем переходила к задаче B с попыткой забыть А
📌 После этого третья нейросеть пыталась на основе выходов восстановить то, что модель уже должна была забыть

Результат:
🔹 структура прошлого знания сохранялась настолько, что третья модель могла восстановить секретную информацию с точностью до ~98 %, даже когда её не должно было быть видно.

🧠 К чему это всё?

👉 Если ваша модель обучалась на чувствительных данных (например, PII, BERT-подобные embedding-механизмы с секретными маркерами),
👉 а затем вы переобучили её на другую задачу,
то старые «печатные следы» всё равно остаются в весах. Это не баг оптимизатора, это свойство Loss Landscape: локации весов.

🟢 Итого, если вы работаете с моделями, где конфиденциальность или безопасность критична, просто переобучение недостаточно.

Нужно:
🔹 понимать свойства Loss Landscape,
🔹 проектировать безопасность данных на уровне архитектуры, а не тренировки,
🔹 смотреть на проблему privacy-by-design, а не hope-by-regularization.

📌 О том, как сделать так, чтобы модель все-таки "забыла" данные мы писали ранее тут и тут.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #ИИ #машиннообучение #безопасностьML #privacy #нейросети #информационнаябезопасность #MLsecurity #deepLearning