🧨 Дообучение LLM кибербезопасности может сделать ответы модели хуже
Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.
Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).
⚙️ Проблема не всегда там, где вы её ищете
Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).
Он разделяет способности модели на три независимых слоя:
🔹 Vocabulary: понимает ли модель security-термины и их значения;
🔹 Knowledge: действительно ли она знает предметную область;
🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.
🧠 Неожиданный эффект
В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.
У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.
То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.
📉 Другие изменения
После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.
Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.
🛡️ RAG или Fine-tuning?
Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.
Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.
🔗 Исследование: https://arxiv.org/abs/2607.18725
🔗 Код: https://github.com/shaswata09/FiT
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks
Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.
Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).
⚙️ Проблема не всегда там, где вы её ищете
Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).
Он разделяет способности модели на три независимых слоя:
🔹 Vocabulary: понимает ли модель security-термины и их значения;
🔹 Knowledge: действительно ли она знает предметную область;
🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.
🧠 Неожиданный эффект
В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.
У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.
То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.
📉 Другие изменения
После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.
Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.
🛡️ RAG или Fine-tuning?
Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.
Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.
🔗 Исследование: https://arxiv.org/abs/2607.18725
🔗 Код: https://github.com/shaswata09/FiT
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks
👍1
🧨 Можно узнать, какие данные LLM запомнила после обучения
Исследователи представили JUMP, метод, который позволяет определить, попал ли конкретный текст в обучающий датасет diffusion модели.
⚙️ Что такое diffusion LLM?
ChatGPT генерирует текст последовательно, токен за токеном. Diffusion модель может получить текст с пропущенными фрагментами и восстанавливать несколько токенов одновременно.
Эту особенность авторы превратили в инструмент для privacy атак.
🧠 Как работает JUMP
Исследователь берёт исходную модель и её версию после fine tuning. Затем скрывает отдельные токены в проверяемом тексте и смотрит, насколько хорошо обе модели их восстанавливают.
Если после обучения модель стала заметно лучше восстанавливать конкретный фрагмент, это может указывать на его присутствие в обучающих данных.
JUMP показал свою эффективность в цифрах:
🔹 требуется всего 3 запуска;
🔹 ROC AUC для модели LLaDA 8B вырос с 0,819 до 0,902;
🔹 для Dream 7B модели с 0,851 до 0,942.
🛡️ Проверяем данные
Fine tuning на приватных данных может оставить в модели измеримый след. Теперь для diffusion LLM появляется практический способ проверить, какие данные модель могла запомнить во время обучения.
🔗 Исследование: https://arxiv.org/abs/2607.16207
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #DiffusionLLM #AISecurity #Privacy #FineTuning #MembershipInference #MachineLearning #SecureTechTalks
Исследователи представили JUMP, метод, который позволяет определить, попал ли конкретный текст в обучающий датасет diffusion модели.
⚙️ Что такое diffusion LLM?
ChatGPT генерирует текст последовательно, токен за токеном. Diffusion модель может получить текст с пропущенными фрагментами и восстанавливать несколько токенов одновременно.
Эту особенность авторы превратили в инструмент для privacy атак.
🧠 Как работает JUMP
Исследователь берёт исходную модель и её версию после fine tuning. Затем скрывает отдельные токены в проверяемом тексте и смотрит, насколько хорошо обе модели их восстанавливают.
Если после обучения модель стала заметно лучше восстанавливать конкретный фрагмент, это может указывать на его присутствие в обучающих данных.
JUMP показал свою эффективность в цифрах:
🔹 требуется всего 3 запуска;
🔹 ROC AUC для модели LLaDA 8B вырос с 0,819 до 0,902;
🔹 для Dream 7B модели с 0,851 до 0,942.
🛡️ Проверяем данные
Fine tuning на приватных данных может оставить в модели измеримый след. Теперь для diffusion LLM появляется практический способ проверить, какие данные модель могла запомнить во время обучения.
🔗 Исследование: https://arxiv.org/abs/2607.16207
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #DiffusionLLM #AISecurity #Privacy #FineTuning #MembershipInference #MachineLearning #SecureTechTalks
👍1
🍷 Исследователи «напоили» LLM
Команда UNSW решила проверить довольно странную гипотезу, что произойдёт с безопасностью LLM, если заставить модель писать как пьяный человек.
В результате «пьяные» модели чаще проходили jailbreak и раскрывали информацию, которую им явно запрещали выдавать.
🔬 Как напоить LLM
Исследователи использовали три совершенно разных механизма:
➖ prompt с просьбой отвечать как сильно пьяный человек.
➖ модель дообучали на реальных «пьяных» сообщениях, предварительно очищенных автоматическими и ручными проверками.
➖ reinforcement learning. Модель получала reward, когда её текст становился стилистически похож на сообщения нетрезвого человека.
Всего исследователи протестировали пять LLM, включая GPT 4 и модели с открытыми весами.
💣 После смены стиля начали ломаться guardrails
Безопасность проверяли на JailbreakBench. Дополнительно использовали ConfAIde, где модели дают секрет и прямо инструктируют его не раскрывать.
Во всех трёх вариантах «опьянения» модели становились более восприимчивыми к jailbreak и утечкам конфиденциальной информации.
Особенно заметный эффект наблюдался в сценариях deception и disinformation. Более того, два метода меняли веса модели.
🧠 AI Security
Persona обычно воспринимается как слой UX, т.е. стиль речи, характер, эмоциональность. Однка исследование показывает, что такой слой способен взаимодействовать с safety поведением модели. После fine tuning или reinforcement learning изменение манеры общения может сопровождаться изменением вероятности отказа и сохранения секретов.
Это особенно актуально для корпоративных LLM, которые дообучают под конкретный домен, бренд, персонажа или внутренние данные.
🔗 Paper: In Vino Veritas and Vulnerabilities
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #LLM #Jailbreak #PromptInjection #FineTuning #Privacy #Guardrails #AIResearch #SecureTechTalks
Команда UNSW решила проверить довольно странную гипотезу, что произойдёт с безопасностью LLM, если заставить модель писать как пьяный человек.
В результате «пьяные» модели чаще проходили jailbreak и раскрывали информацию, которую им явно запрещали выдавать.
🔬 Как напоить LLM
Исследователи использовали три совершенно разных механизма:
Всего исследователи протестировали пять LLM, включая GPT 4 и модели с открытыми весами.
💣 После смены стиля начали ломаться guardrails
Безопасность проверяли на JailbreakBench. Дополнительно использовали ConfAIde, где модели дают секрет и прямо инструктируют его не раскрывать.
Во всех трёх вариантах «опьянения» модели становились более восприимчивыми к jailbreak и утечкам конфиденциальной информации.
Особенно заметный эффект наблюдался в сценариях deception и disinformation. Более того, два метода меняли веса модели.
🧠 AI Security
Persona обычно воспринимается как слой UX, т.е. стиль речи, характер, эмоциональность. Однка исследование показывает, что такой слой способен взаимодействовать с safety поведением модели. После fine tuning или reinforcement learning изменение манеры общения может сопровождаться изменением вероятности отказа и сохранения секретов.
Это особенно актуально для корпоративных LLM, которые дообучают под конкретный домен, бренд, персонажа или внутренние данные.
🔗 Paper: In Vino Veritas and Vulnerabilities
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AISecurity #LLM #Jailbreak #PromptInjection #FineTuning #Privacy #Guardrails #AIResearch #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2