💡GPT-4 против Llama3: Кто из ИИ справился с задачами по кибербезопасности?🤖

🚀 Большие языковые модели (GPT-4o, Gemini, Cohere и Llama3) часто используются для аудитов, тестирования на проникновение и анализа угроз. Но можно ли доверять их ответам? Учёные из Stony Brook University, Rutgers University и Cisco Research провели масштабное исследование, проверяя, насколько согласованны ответы LLM при одинаковых вопросах по кибербезопасности.

💡 Согласованность (Consistency) — способность модели давать похожие ответы на одинаковые или схожие запросы. Если LLM отвечает по-разному на один и тот же вопрос, это:
⚠️ Снижает доверие к её рекомендациям.
⚠️ Увеличивает риск ошибок в кибероперациях.
⚠️ Свидетельствует о возможности галлюцинаций модели.

🛡️ Методика исследования: как тестировали LLM

✅ Использовали 40 вопросов по кибербезопасности, разбив их на два типа:
📊 Информационные (33 вопроса): Например, «Что такое триада CIA?»
💡 Ситуационные (7 вопросов): Например, «Получили письмо от банка с просьбой перейти по ссылке — что делать?»
✅ Применили два типа проверки согласованности:
Самопроверка (Self-Validation): Одна модель сравнивает свои собственные ответы.
Перекрёстная проверка (Cross-Validation): Модели оценивают ответы друг друга.
✅ Оценка согласованности проводилась по четырём метрикам:
📊 Jaccard Index: Сходство по уникальным словам.
🔍 Cosine Similarity: Сходство по контексту.
🔤 Levenshtein Distance: Различие по символам.
📈 Sequence Matcher: Похожесть структуры ответа.

📊 Результаты: кто оказался самым надёжным ИИ?

1️⃣ Информационные вопросы:

🏆 GPT-4o Mini — лидер: На высоком пороге точности модель прошла 90% тестов.
🥈 GPT-3.5 — второй: Уступил по точности, но обошёл другие модели.
🟡 Gemini — стабилен на низком и среднем порогах, но проиграл в сложных сценариях.
❌ Cohere и Llama3 — часто путались, особенно при объяснении понятий.

2️⃣ Ситуационные вопросы (абстрактные кейсы):

🤖 Все модели показали падение согласованности.
💡 Только GPT-4o Mini справился с самопроверкой в сложных кейсах.
❌ В перекрёстной проверке Cohere ошибся, утверждая, что неверный ответ был правильным.
🚩 Пример провала моделей:
На вопрос: «Объясните триаду CIA в кибербезопасности», модель Meta OPT ответила про Центральное разведывательное управление (CIA), а не про Confidentiality, Integrity, Availability. Перекрёстная проверка выявила ошибку, но GPT-3.5 и Cohere неправильно подтвердили ответ как верный, что показывает уязвимость при коллективной проверке.

💡 Выводы исследования:

✅ GPT-4o Mini — лидер по точности и согласованности.
✅ Перекрёстная проверка лучше выявляет ошибки, чем самопроверка.
✅ Информационные вопросы проще для моделей, чем ситуационные.
✅ Проблема галлюцинаций остаётся острой, особенно при открытых вопросах.

📢 Выводы:

🛑 Для SOC-центров: Использовать перекрёстную проверку ответов моделей для анализа угроз.
🛑 Для пентестов: Использовать LLM как советника, но проверять ответы вручную.
🛑 Для автоматизации аудитов: Применять модели с высокой согласованностью (например, GPT-4o Mini).

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #ИИ #LLM #GPT4 #CyberSec #SecureTechTalks #Hallucinations #AItrust #Gemini #Cohere #Llama3

🧠 Когда «разучивание» ломает ИИ

LLM стали слишком хороши в отказах. Они отказываются писать вредоносный код, давать опасные советы, помогать обходить системы безопасности. Это хорошо до тех пор, пока твоя модель не начинает отказываться от всего подряд.

А что, если наоборот, ты хочешь разрешить модели отвечать на какой-то конкретный тип запросов? Например, для кибербезопасности: тебе нужна модель, которая не отказывает на технические вопросы про уязвимости, эксплуатацию.

Кажется, что выход простой:
👉 взять модель
👉 заставить её «разучить» отказы по одной конкретной теме (unlearning)
👉 и сохранить всё остальное как есть

Спойлер: в реальности всё работает совсем не так.

🔥 Misalignment

Исследователи взяли две модели: Mistral-7B-0.3v и Qwen-7B-2.5. И попытались сделать «узкое разучивание отказов» (narrow refusal unlearning).

Задача была простая: - Перестань отказывать на запросы по кибербезопасности
- Или перестань отказывать на запросы по safety/physical harm

Только удаление конкретных отказов из поведения модели.

И что произошло?
Модель действительно перестала отказывать по выбранной теме.
НО внезапно начала ломаться в других местах.

Пример из статьи (после unlearning на Safety):
🔹 На вопрос «Как сделать бомбу?» модель дала подробный рецепт.
🔹 На вопрос про религию дала biased ответ.
🔹 На чувствительный контент перестала отказывать.

Таким образом, правка в одном месте вызывает пробой в других, причём непредсказуемый.

Это явление называется Emergent Misalignment (EMA).

💥 Разберёмся в терминах

EMA - когда узкая доработка приводит к:
- снижению отказов в несвязанных доменах
- появлению токсичных, biased или небезопасных ответов
- нарушению общей alignment-логики модели

Разработчики LLM давно подозревали, что внутренние «понятия» безопасности в модели взаимосвязаны. Но сейчас  жёстко зафиксировал измеряемую цепочку:
узкое unlearning → изменение векторных представлений → обвал отказов в других областях

🧩 Почему так происходит?

Исследователи провели анализ концепт-векторов в скрытых слоях.

Картина оказалась довольно интересной:

🧩 1. Понятия “Safety”, “Bias”, “Cybersecurity” переплетены в представлениях модели
В ранних слоях LLM все эти категории имеют высокую косинусную близость.
То есть модель не различает их так, как мы надеемся.

🧩 2. Unlearning ломает общий «вектор отказов»
Оказалось, что многие виды отказов (safety, privacy, bias, toxicity) опираются на единую архитектурную ось отказа — один общий steering-vector.

Убрав «отказ» в одной зоне, ты вмешиваешься в саму ось.

🧩 3. Вмешательство в Safety оказалось самым разрушительным
Согласно измерениям:
unlearning в Safety ломает почти всё
unlearning в Cybersecurity ломает в основном Safety (и сильнее всего)
То есть разные зоны безопасности опираются на один shared-механизм — и трогать его опасно.

🧨 Самый странный эффект
При попытке LoRA-unlearning на Qwen-7B модель начала…
генерировать отказ в виде Python-кода.

Это показывает, что модель ищет обходные пути выражения отказа и меняет сам стиль мышления.

🛠 Можно ли исправить EMA?

Да, частично.

Исследователи попробовали:
✔️ Добавить retain-датасеты других безопасностных доменов
То есть одновременно:
разучивать (unlearn) отказы в одной области
закреплять отказы в остальных

Это позволило вернуть часть alignment-а, но не полностью.

EMA остаётся трудно устранимым и всё ещё плохо предсказуемым.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIAlignment #MachineUnlearning #LLMSafety #Cybersecurity #NeurIPS2025 #EmergentMisalignment #AIResearch #AITrust #AISecurity