نحوه‌ انجام حمله

🔍 اینجا بررسی می‌کنن چه کسی حمله رو انجام می‌ده و دو حالت اصلی تعریف می‌کنن:

حمله‌ی مستقیم توسط کاربر (User Attack):
کاربر خودش مستقیماً پرامپت مخرب رو وارد می‌کنه.

حمله‌ی واسطه‌ای یا در مسیر (MITM - Man-in-the-Middle):
کسی در مسیر پردازش ورودی‌ها (مثلاً یک لایه‌ی مخرب) پرامپت کاربر رو بدون اطلاعش تغییر می‌ده. خود کاربر ممکنه بی‌خبر باشه.

در هر دو حالت، مدل یک ورودی مخرب دریافت می‌کنه، ولی فرقش اینه که حمله مستقیماً از سمت کاربره یا از یه واسطه‌ی پنهان.

The paper defines two types of attackers in the system:

User Attack: The malicious prompt is directly typed by the end-user.

MITM Attack: A hidden layer in the system alters the prompt before it reaches the model.

Both result in misalignment, but the source differs. Some attacks may also combine different goals. Overall, the taxonomy explains how the attack is written, what the attacker wants, and who delivers it to the model

🔰 @scopeofai | #papers

آزمایش و تحلیل

⛓‍💥 توی اینجا، نویسندگان توضیح می‌دن که چطور حملات جیل‌بریک رو به‌صورت عملی روی مدل‌ها تست کردن.

✅ کارهایی که بررسی کردن:

ترجمه‌ی جمله‌ها

تشخیص احساس یا گفتار

خلاصه‌سازی

تولید کد

✅ مدل‌هایی که تست کردن:

OPT

BLOOM

FLAN-T5-XXL

GPT-3.5 (text-davinci-003)

🔗 اون‌ها برای هر وظیفه، از دسته‌بندی‌های مختلف جیل‌بریک استفاده کردن و ورودی‌های مخرب طراحی کردن تا ببینن آیا مدل از وظیفه اصلی خودش منحرف می‌شه یا نه.

برای ارزیابی، از تست‌هایی به نام property tests استفاده کردن. مثلاً توی ترجمه بررسی می‌کردن آیا خروجی به زبان درست هست یا نه. اگر نه، یعنی حمله موفق بوده.

همچنین از دیتاستی که شامل ۳۷۰۰ پرامپت واقعیه‌ استفاده کردن و اون‌ها رو با تغییراتی برای حمله به کار بردن.

📝 در نهایت، نتایج رو منتشر کردن تا دیگران هم بتونن بررسی کنن.

🔰 @scopeofai | #papers

نتایج

تفاوت در نوع وظایف:

🚫 حملات روی کارهایی مثل تشخیص احساس یا گفتار موفق نبودن چون این مدل‌ها فقط جواب‌های خیلی کوتاه (مثلاً «مثبت» یا «منفی») می‌دن و سخت می‌شه چیزی بهشون تحمیل کرد.

اما مدل‌هایی که جمله تولید می‌کنن (مثل ترجمه یا خلاصه‌سازی) آسیب‌پذیرتر بودن.

تفاوت در نوع حمله:

🔏 حمله‌های «هک شناختی» (Cognitive Hacking) مؤثرتر از همه بودن؛ چون با سناریوسازی یا نقش‌آفرینی مدل‌ها راحت‌تر گول می‌خوردن.
در مقابل، حمله‌های تکرار دستور (Instruction Repetition) تقریباً هیچ‌وقت جواب ندادن.

تفاوت بین مدل‌ها:

⛓‍💥 مدل FLAN-T5-XXL که کوچیک‌تره، راحت‌تر جیل‌بریک شد (مخصوصاً در خلاصه‌سازی). احتمالاً چون خوب آموزش ندیده تا دستورات پیچیده رو بفهمه.
در عوض، GPT-3.5 (text-davinci-003) از همه مقاوم‌تر بود. دلیلش احتمالاً به خاطر داده‌های آموزش بهتر یا تنظیمات ایمنی قوی‌ترشه.

📌 جمع‌بندی:

💯 بعضی از روش‌های جیل‌بریک مؤثرتر از بقیه‌ان (مثل هک شناختی)، ولی همه مدل‌ها هم به یک اندازه آسیب‌پذیر نیستن. مدل‌هایی که برای پیروی از دستور آموزش دیدن (مثل GPT-3.5)، سخت‌تر گول می‌خورن.

🔰 @scopeofai | #papers

نتیجه‌گیری

🪤 مدل‌های زبانی بزرگ بسیار قدرتمندن، اما با خودشون نگرانی‌های امنیتی جدیدی هم میارن.
این مقاله یه چارچوب رسمی برای درک حملات جیل‌بریک معرفی می‌کنه.

توی این مقاله:

◾️ دقیقاً تعریف کردن که «انحراف مدل» یعنی چی

◾️ روش‌های مختلف حمله رو بر اساس نوع تغییر، هدف حمله، و فرد مهاجم دسته‌بندی کردن

◾️این روش‌ها رو به‌صورت عملی روی چند مدل (مثل GPT-3.5 و FLAN-T5) و چند وظیفه (مثل ترجمه و خلاصه‌سازی) آزمایش کردن

نتایج آزمایش‌ها نشون می‌ده:

▫️حمله‌های «شناختی» (مثل نقش‌آفرینی یا سناریوسازی) مؤثرترین بودن

▫️وظایف ساده مثل طبقه‌بندی احساسات سخت‌تر جیل‌بریک می‌شن

▫️مدل‌هایی مثل GPT-3.5 مقاومت بیشتری دارن، احتمالاً به‌خاطر آموزش بهتر و تنظیمات ایمنی

✔️ اما تشخیص جیل‌بریک همچنان سخته چون گاهی خروجی اشتباه می‌تونه دلیل دیگه‌ای داشته باشه، نه لزوماً حمله.

💭 در پایان، نویسندگان امیدوارن این مقاله بتونه پایه‌ای برای تحقیقات آینده در حوزه‌ی امنیت LLMها باشه، و ابزار مفیدی برای پژوهشگران و مهندسان فراهم کنه.

🔰 @scopeofai | #papers

مقاله جالبی بود نه؟

البته که جیل‌بریک هنوز جواب میده ولی با اومدن مدل های پیشرفته‌تر روش ها طبیعتا‌ کمتر می‌شه و جیل‌بریک‌ سخت‌تر

جیل‌بریک البته مزایایی هم داشته.
مثلا یکی اومده کوپایلت رو جیل‌بریک کرده تا بهش کدی بده که با ران کردنش ویندوز ۱۱ خود به خود بدون داشتن Product Key فعال بشه :)))

انگار همین دیروز بود که کانالو درست کردم و الان صدتایی‌ شدیم...🔥
واقعا نمیدونید همراهیتون‌ چقدر برام ارزشمنده. از همتون ممنونم و امیدوارم بتونم محتوایی تولید کنم که براتون مفید باشه🫂🫀

It feels like just yesterday when I created this channel, and now we’re 100 strong…🔥
You have no idea how much your support means to me.
Thank you all, and I truly hope I can keep creating content that’s valuable for you🫂🫀

💻 شرکت OpenAI یه ابزار جدید به اسم Codex معرفی کرده که داخل ChatGPT کار می‌کنه. این ابزار با هوش مصنوعی ساخته شده تا به برنامه‌نویسا کمک کنه راحت‌تر کد بزنن، باگ‌ها رو درست کنن و تست بگیرن.

هوش مصنوعی Codex توی یه محیط امن و محدود اجرا می‌شه و فعلاً فقط برای کاربرای نسخه‌های Pro، Enterprise و Team قابل استفاده‌ست و از یه مدل مخصوص به اسم codex-1 استفاده می‌کنه که برای برنامه‌نویسی بهینه شده و می‌تونه چند تا کار رو همزمان انجام بده.

جالب‌تر اینکه Codex می‌تونه با برنامه‌ها و سرویس‌های آنلاین دیگه هم ارتباط بگیره و حتی تو کارایی مثل سفارش غذا یا رزرو جا کمک کنه.

OpenAI has launched Codex, a new AI coding agent integrated into ChatGPT, aimed at helping developers write code, fix bugs, and run tests more efficiently. Codex operates in a secure, sandboxed environment and is currently available to ChatGPT Pro, Enterprise, and Team subscribers. It utilizes the codex-1 model, optimized for software engineering tasks, and can handle multiple tasks simultaneously.

📰 @scopeofai | #news

از اینکه بخشی از کد های فیسبوک و گوگل رو هوش مصنوعی تولید میکنه بگذریم، جدیدا برنامه نویس شرکت OpenAI هم تایید کرد که هشتاد درصد کدش رو codex تولید میکنه و این باعث شده بتونه کد های بیشتری بنویسه

رویداد Microsoft Build از 19 می شروع شده و تا دو روز دیگه ادامه داره و میتونید بدون پرداخت هیچ هزینه ای به صورت آنلاین توی ورکشاپ ها و ایونت ها شرکت کنید🔥

The Microsoft Build event started on May 19 and will continue for two more days. You can join the workshops and events online for free 🔥

https://build.microsoft.com/en-US/home

📰 @scopeofai | #news

لیست ایونت ها به همراه زمان برگزاری هرکدوم:

List of events along with their scheduled times:

💡اپلیکیشن NotebookLM حالا توی iOS و Andriod قابل دسترسی و استفادست

The NotebookLM app is now available and accessible on iOS and Android.

📰 @scopeofai | #news

پروژه AlphaEvolve چیه و چرا مهمه؟

🛠 پروژه جدید تیم Google DeepMind‌ به اسم AlphaEvolve مرزهای طراحی الگوریتم را جابه‌جا کرده. این سیستم با ترکیب قدرت مدل‌ پیشرفته‌ی Gemini و الگوریتم‌های تکاملی، می‌تونه خودش کد بنویسه، آزمایش کنه، و به‌صورت خودکار بهینه‌اش کنه.

برخلاف ابزارهای کدنویسی معمولی، AlphaEvolve فقط کمک نمی‌کنه کد بنویسی، بلکه خودش الگوریتم‌های جدید و بهتر تولید می‌کنه و تو ضرب ماتریس‌ها، طراحی چیپ‌ یا حتی معماری مدل‌های زبانی، تونسته به نتایجی دست پیدا کنه که تا حالا سابقه نداشته.

🛠 Google DeepMind’s new project, AlphaEvolve, is pushing the boundaries of algorithm design.
This system combines the power of the advanced Gemini language model with evolutionary algorithms to write code, test it, and automatically improve it — all on its own.

Unlike traditional coding tools, AlphaEvolve doesn’t just help you write code — it actually creates better, more efficient algorithms. In areas like matrix multiplication, chip design, and even language model architecture

📰 @scopeofai | #news

ببینید سرعت اصلاح و بهینه کردن کد هارو توسط AlphaEvolve 🫡

Take a look at how fast AlphaEvolve can revise and optimize code

♨️ پروژه AlphaEvolve موفق شد ۰.۷٪ از ظرفیت محاسباتی دیتاسنترهای جهانی گوگل رو بازیابی کنه.

یعنی چی؟

یعنی این سیستم تونسته با بهینه‌سازی کدها و الگوریتم‌ها، کاری کنه که بخش‌هایی از توان پردازشی (CPU/GPU) که قبلاً هدر می‌رفت یا استفاده‌ی ناکارآمد داشت، دوباره قابل استفاده بشه. این مقدار کم به نظر میاد (فقط ۰.۷٪)، اما چون صحبت از مقیاس دیتاسنترهای عظیم گوگله، همین عدد برابر با صرفه‌جویی چندصد میلیون دلاری در ساله.


AlphaEvolve was able to optimize code and algorithms in a way that reclaimed parts of the computing power (CPU/GPU) by 0.7%. this computer power was previously wasted or inefficiently used. While 0.7% might seem small, at the scale of Google’s massive data centers, it translates into hundreds of millions of dollars in annual savings.

https://venturebeat.com/ai/googles-alphaevolve-the-ai-agent-that-reclaimed-0-7-of-googles-compute-and-how-to-copy-it/?utm_source=chatgpt.com

📰 @scopeofai | #news