Разбор OWASP TOP10 for LLM Applications
#OWASP #llm #top10

LLM01: Prompt Injection (Инъекция промпта)
Это атака, при которой злоумышленник внедряет в пользовательский запрос (промпт) вредоносные инструкции, которые переопределяют исходные задачи модели и заставляют ее выполнять непредусмотренные действия. Уязвимость занимает первое место из-за исключительной простоты эксплуатации и высокой степени потенциального ущерба. По сути, это напоминает социальную инженерию, только нацеленную на AI.

LLM02: Sensitive Information Disclosure (Раскрытие чувствительной информации)
LLM может непреднамеренно раскрыть конфиденциальные данные, на которых она обучалась или которые получила в текущем контексте диалога. Модель не всегда способна отличить общедоступную информацию от частной.

LLM03: Supply Chain Vulnerabilities (Уязвимости в цепочке поставок)
Уязвимости, связанные со сторонними компонентами, которые используются в LLM-приложении. Это могут быть плагины, датасеты или даже скомпрометированные предобученные модели.

LLM04: Data and Model Poisoning (Отравление данных и модели)
Целенаправленное манипулирование обучающими данными или процессом дообучения модели с целью создания бэкдоров, снижения ее производительности или внедрения определенной предвзятости.

LLM05: Improper Output Handling (Небезопасная обработка вывода)
Эта уязвимость возникает, когда вывод LLM напрямую и без должной проверки передается в другие компоненты системы (например, в frontend для рендеринга или в бэкенд для выполнения). Это аналог классических веб-уязвимостей, таких как XSS или CSRF.

LLM06: Excessive Agency (Чрезмерные полномочия)
Предоставление LLM-агентам слишком широких прав, доступа к инструментам или возможности действовать автономно без надлежащего контроля и подтверждения со стороны человека.

LLM07: System Prompt Leakage (Утечка системного промпта)
Эта атака направлена на то, чтобы заставить LLM раскрыть свой «системный промпт» — набор первоначальных инструкций, определяющих ее поведение: конфигурационную информацию, правила безопасности, а иногда, по неосторожности разработчиков, конфиденциальные данные, такие как API-ключи или внутренние идентификаторы.

LLM08: Vector and Embedding Weaknesses (Слабости векторов и эмбеддингов)
Описание: Атаки на системы Retrieval-Augmented Generation (RAG), которые используют векторные базы данных для поиска релевантной информации.

LLM09: Misinformation (Дезинформация)
Генерация LLM фактически неверной, предвзятой или полностью вымышленной информации, которая при этом выглядит правдоподобно. Хотя это не всегда является результатом злонамеренной атаки, оно представляет собой серьезную проблему, поскольку пользователи склонны доверять авторитетно звучащим ответам машины.

LLM10: Unbounded Consumption (Неограниченное потребление)
Атака, при которой злоумышленник заставляет LLM-приложение выполнять чрезмерно ресурсоемкие операции, что приводит к исчерпанию бюджета на API и/или отказу в обслуживании (DoS).

🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё

Будет вторая часть, про другой OWASP TOP10, ожидайте после праздников)

🌚 @poxek_ai