Примеры атак на модели ИИ через небезопасный формат Pickle

Разработана новая техника эксплуатации "Сонный Пикл" (Sleepy Pickle), которая внедряет вредоносный код в файлы моделей машинного обучения, использующие небезопасный формат Python pickle.
При загрузке такого файла выполняется вредоносный код, модифицирующий модель для генерации опасного контента, кражи данных пользователей и фишинга.
"Липкий Пикл" (Sticky Pickle) - продвинутый вариант с самовоспроизведением, автоматически заражающий будущие версии модели и маскирующий вредоносный код.
Это показывает широкую поверхность атаки при взаимодействия ИИ-моделей с базовым ПО.
Рекомендуется использовать безопасные форматы вроде SafeTensors, сканировать pickle-файлы и внедрять проверенные ML-технологии, которые уже успели доказать свою безопасность.

Ч1: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-1/
Ч2: https://blog.trailofbits.com/2024/06/11/exploiting-ml-models-with-pickle-file-attacks-part-2/

#MachineLearning #CyberSecurity #PickleExploit
-------
@tsingular