🎯 بردار جدید حمله به سامانه‌های هوش‌مصنوعی — پرامپت‌های پنهان داخل تصاویر

✅تحقیقات Trail of Bits نشون داد که هکرها می‌تونن دستورالعمل‌هایی رو داخل تصویر مخفی کنن. وقتی تصویر در اندازه‌ی اصلی باشه، مشکلی دیده نمی‌شه — اما به محض این‌که سرویس (مثلاً Gemini CLI یا Vertex AI Studio) تصویر رو به‌صورت خودکار فشرده یا مقیاس‌بندی کنه، متن پنهان «ظاهر» می‌شه.

📌 اهمیت ماجرا:

♻️مدل‌ها ممکنه این «پرامپت پنهان» رو به‌عنوان دستور کاربری بخونن و اجرا کنن.

♻️با این روش می‌شه فیلترها و محدودیت‌های ورودی رو دور زد و مدل رو وادار به کاری کرد که مهاجم می‌خواد.


🛠 راه‌های مقابله (عملی و فوری):

✳️استفاده از ابزارهایی مثل Anamorpher برای تولید و شناسایی چنین حملاتی (اوپن‌سورس).

✳️چندلایه‌سازی بررسی تصاویر: قبل از فرایندهای پردازش/اسکیلینگ، تصویر رو از جهت آرتیفکت‌ها و الگوهای غیرمعمول آنالیز کنین.

✳️لاگ‌برداری از همه تغییرات تصویر هنگام تبدیل/فشرده‌سازی تا در صورت رفتار عجیب مدل، بفهمین چه تغییری رخ داده.

✳️در زنجیره‌ی پردازش، «نودهای پاک‌سازی» قرار بدین که تصویر رو به فرمت‌هایی تبدیل کنن که احتمال پنهان‌سازی در اونها خیلی کمتره (مثلاً رندر دوباره پیکسل‌ها یا نویز تصادفی کنترل‌شده).


⚠️ خلاصه: حتی یک عکسِ «بی‌ضرر» می‌تونه به یک درِ پشتی برای سیستم‌های مولتی‌مدال تبدیل بشه. بهتره پیشگیری و بازرسی تصاویر جزو خط‌مشی امنیتی هر پلتفرم هوش‌مصنوعی باشه.

🔗 منابع:
• Anamorpher (Trail of Bits):
https://github.com/trailofbits/anamorpher
• توضیحات و بلاگ‌پست:
blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/

#AI #Security #PromptInjection #TrailOfBits

@rss_ai_ir