Белое хакерство в LLM – новое исследование от Anthropic

Jailbreak Rapid Response: так называется свежая статья от самых больших любителей поковыряться под капотом моделей. На этот раз они предлагают подход к обнаружению и блокировке новых методов джейлбрейка, то есть "взлома" моделей. Взлом тут – это попытки с помощью каких-то хитрых промптов заставить модель выдать неэтичную информацию, которую ей выдавать запрещено (рецепт коктейля Молотова, например).

Метод у них забавный: они показывают LLM один из вариантов джейлбрейка и просят ее генерировать больше таких примеров. Потом просят генерировать больше примеров, основываясь на том, что она сгенерировала раньше, и так далее. Таким образом у нас растет огромный синтетический датасет, на котором можно обучить что-то врожде классификатора.

В качестве "классификатора" ученые тестировали Regex, Guard Fine-tuning, Embedding, Guard Few-shot и Defense Prompt. Лучше всего себя показал Guard Fine-tuning – самый ванильный вариант, при котором мы просто дообучаем модель на экземлярах положительного и отрицательного класса.

Результаты в итоге получились даже лучше, чем у методов статической защиты, которые сегодня обычно используются в продакшене. Guard Fine-tuning отлавливает в 240 раз (!!!) больше атак на "похожих" на датасет примерах и в 15 раз больше джейлбрейков на не представленных в трейне вообще.

Статья полностью тут, а еще к ней есть открытый репозиторий с кодом, можно поэкспериментировать.

Наши предыдущие посты-разборы интересных работ Anthropic про alignment и интерпретируемость в LLM:

– Та самая статья про Golden Gate
– Продолжене этой статьи, в которой рассказывается про управление мыслями LLM
– Про то, как модели читерят во время обучения
– Про математические фракталы в картах гиперпараметров
– Что мешает нам понимать черный ящик нейросетей