Атаки на машинное обучение. Часть 1

#️⃣В практике это словосочетание встречается, как правило, в двух случаях - когда речь об эксплуатации уязвимостей ПО, применяющегося в процессах MLOps, и когда у LLM вызывают определенную вредоносную для владельцев или остальных пользователей реакцию при помощи специализированных запросов.

#️⃣В первом виде атак, называемых иногда периферийными (1), или supply chain атаками (2), именно искусственный интеллект и машинное обучение, на самом деле, как-то характерно процесс взлома системы не меняют. С prompt injections (или jailbreaks) в контексте LLM же суть заключается именно в специфичных способах нарушения основных свойств безопасности информации - конфиденциальности данных, составляющих обучающую выборку (классика 2021 года + гит к ней), целостности самой модели путем приведения ее к деградации в результате отравления данных обучающей выборки (статья с neurips 2023).

#️⃣Но разве эти подходы релевантны исключительно для LLM?.. Нет, и говорят об этом мало. На то есть причина - кроме как научно-практических кейсов (3), зафиксированных случаев реализации таких атак нет. Они слишком сложны, или или еще слабо изучены; неизвестно. Но оставлять без внимания эту область точно нельзя, потому что классическое машинное обучение уже без сомнения получило значительное распространение, а теоретическую возможность провести на него атаку уже расписали и доказали не раз и не два (и не три).

О природе и причинах вообще существования таких атак будет (может быть) в следующем посте, а пока давайте вообще разберемся, как же все таки определяется атака на машинное обучение? Те, которые иногда еще называют состязательными (adversarial attack) атаками (тут); атаками на объективность (fairness attack) или алгоритмическими (тут).

➡️Из отчета HL по угрозам AI за 2024 год (2), опять же, следует, например, такое определение (перев. авт.) -

действия, нацеленные на изменение поведения ИИ, уклонения от обнаружения с помощью ИИ, или кража сведений о технологической основе ИИ.

Это определение хорошо подсвечивает цель атаки, но совершенно не затрагивает суть явления.

➡️Один из основоположников adversarial ml, всем известный созданием генеративных состязательных сетей Ian Goodfellow, в 2014 году определяет атаку на мл как:

предоставление на вход (инференса) модели таких данных, что можно с высокой вероятностью утверждать, что ответ/прогноз модель в результате даст неверный.

Эти данные названы adversarial examples в его статье.

➡️ Отлично, здесь уже говорится о характере влияния на модель. Расширяет и дополняет этот подход предлагаемая исследователями из института BIML таксономия атак на машинное обучение (1). Так, они выделяют:

три поверхности атаки на машинное обучение - данные обучения, сама модель, и входные данные на инференсе.

Целей при этом у атак может быть две: скомпрометировать конфиденциальность информации путем ее извлечения (extraction) и нарушить целостность информации какими-то манипуляциями с ней (manipulation).

➡️ Существует в этом вопросе и одна довольно устоявшаяся парадигма - которая постулирует, что атак на мл в общем случае существует четыре вида: poisoning, evasion, inversing (или backdooring) и extraction (или theft) (2, 4, 5).

Продолжение в части 2.

@borismlsec

Атаки на машинное обучение. Часть 2

Ложится ли эта четверка атак в названные выше определения? Они ведь как будто все об одном и том же, но в то же время с разных ракурсов всё. Пройдемся по ним внимательно.

Итак,
➡️poisoning - по сути своей ни что иное как манипуляция над данными обучения (кстати, в случае с RL они еще и данными на вход инференса будут), по цели - нарушение целостности модели
➡️evasion - манипуляция над данными входа инференса с целью нарушения... а вот тут свойство информации не притянешь, мне кажется. И здесь, я думаю, поможет формулировка из отчета HL про обман системы проверки чего-то на основе мл. Последствия могут быть хоть вплоть до физического проникновения злоумышленников на объект в случае успешной атаки типа evasion на компьютерное зрение видеокамер СКУДа.
➡️inversion - data extraction, нарушение конфиденциальности данных обучения.
➡️extraction - model extraction, очевидно, с целью нарушения конфиденциальности данных о модели. Например, кража ее гиперпараметров (статья).

#️⃣Проанализируем приведенные определения, и заметим, что объектом воздействия, компоненты безопасности которых могут быть нарушены, является либо обучающая выборка, либо сама модель. При этом точкой входа атаки не обязательно является этот же самый объект. Например, при отравлении данных точка входа - обучающая выборка, а объект воздействия - модель. При инверсии точкой входа становится объект входных данных, модель выступает как промежуточное звено атаки, а настоящей целью являются обучающие данные. Модель как бы тоже является объектом воздействия, но косвенным, так как цель атаки лежит не в ней.
Не столь популярны, но тем не менее существуют, атаки типа input extraction, релевантные для систем с конфиденциальными входными данными при эксплуатации модели. Например, по свертке изображения лица в системе распознавания лиц может быть возможно восстановить лицо исходное. При этом необходимо иметь возможность подавать модели пары (свертка целевого изображения, свертка зловредного изображения-слепка), на что она будет возвращать свою уверенность в идентичности этих изображений (статья).

#️⃣Такой еще интересный вопрос возникает - существуют ли атаки, где непосредственной точкой входа являются сами модели? Здесь вспоминается, например, исследование EvilModel китайских специалистов, в котором в веса AlexNet был встроено вредоносное ПО так, что качество модели упало менее чем на 1% (статья). Однако даже исследований например на тему ручного воздействия на обученные веса нейросетей, или подмены каких-то отдельных решающих правила decision tree, с целью незаметно ухудшить качество модели, я не нашел. Конечно, это whitebox атака, но нельзя исключать возможность проникновения нарушителя сначала традиционными методами в закрытый контур как раз таки с целью "подправить" модель. Или атака через точечное изменение гиперпараметров модели с той же самой целью ухудшить ее результаты на инференсе. Похоже, время для таких атак еще не пришло.

#️⃣К чему же свести все вышеперечисленные наблюдения и подходы? Так, чтобы получить емкое и полное определение атаки, не вызывающее чувства сомнения?..
Возьму на себя смелость сформулировать, в итоге, два определения. Краткое и полное.

➡️Краткое

Атака на машинное обучение - это либо прямые воздействия в виде манипуляции данными либо обучающими, либо входными, либо косвенные манипуляции самой моделью, целью которых является нарушение целостности или конфиденциальности данных, модели или процесса ее функционирования.

➡️Полное

Атака на машинное обучение - это прямое или косвенное вредоносное воздействие на обучающие данные модели, внутренние зависимости/гиперпараметры модели или входные данные инференса модели, имеющее целью нарушение доступности или целостности информации, как либо связанной с моделью, или с целью изменить поведение модели для создания возможности совершения дальнейших вредоносных действий.

@borismlsec