نگاهی به مقاله جدید ماکروسافت، آیا in-context learning واقعا یادگیریه؟

برای شروع، ساده بگم که in-context learning یا همون ICL چیه. وقتی یک مدل زبانی بزرگ (LLM) بدون تغییر در وزن‌ها یا حافظه‌ی بلندمدتش، فقط از روی مثال‌هایی که داخل prompt دریافت می‌کنه الگو می‌گیره و پاسخ تولید می‌کنه، در واقع داره ICL انجام می‌ده. یعنی مدل همون لحظه با ترکیب مثال‌های ارائه‌شده و دانشی که از قبل داره، تصمیم می‌گیره چه جوابی بده.

مایکروسافت در یک پژوهش گسترده (بیش از ۱.۸ میلیون پیش‌بینی روی ۴ مدل و ۹ تسک مختلف) این پرسش رو بررسی کرده که آیا ICL واقعاً نوعی «یادگیری» محسوب می‌شه یا فقط تکرار طوطی‌وار. نتیجه اینه که از نظر ریاضی، ICL یادگیری حساب می‌شه؛ اما نوعی یادگیری شکننده است که بیشتر به الگوهای سطحی موجود در prompt وابسته است تا درک عمیق ساختار مسئله.

نتایج مطالعه نشون می‌ده تعداد مثال‌ها نقش کلیدی داره. برخلاف تصور رایج در few-shot learning که چند نمونه کافی به نظر می‌رسه، بهترین عملکرد زمانی حاصل می‌شه که حدود ۵۰ تا ۱۰۰ مثال در prompt وجود داشته باشه. به بیان ساده، ICL برای بهبود پایدار به داده‌ی بیشتری نیاز داره.

یکی از یافته‌های جالب این بود که اهمیت دستور نوشتن prompt در طول زمان کاهش پیدا می‌کنه. حتی اگر دستورها با متن بی‌معنی (word salad) جایگزین بشن، در نهایت دقت مدل‌ها به سطح اصلی برمی‌گرده، البته به شرطی که مثال‌ها تغییر نکرده باشن. اما اگر خود مثال‌ها به‌هم ریخته بشن (salad-of-thought)، عملکرد مدل‌ها به شدت افت می‌کنه.

با این حال، ICL در مواجهه با داده‌های خارج از توزیع (out-of-distribution) ضعف جدی داره. زمانی که داده‌ی تست با داده‌های موجود در prompt تفاوت زیادی داشته باشه، دقت مدل‌ها به طور محسوسی کاهش پیدا می‌کنه. روش‌هایی مثل chain-of-thought و automated prompt optimisation در این شرایط آسیب‌پذیری بیشتری نشون می‌دن.

همچنین همه‌ی تسک‌ها به یک اندازه ساده یا دشوار نیستن. برخی مسائل مثل pattern matching تقریباً حل‌شده تلقی می‌شن، در حالی‌که کارهایی مانند string reversal یا برخی محاسبات ریاضی همچنان برای مدل‌ها دشوار باقی موندن. حتی وظایف مشابه می‌تونن تا ۳۱٪ اختلاف دقت داشته باشن. جالب اینکه در نیمی از وظایف آزمایش‌شده، الگوریتم‌های سنتی مثل decision tree یا kNN عملکرد بهتری نسبت به ICL داشتن.

پیامی که این تحقیق برای توسعه‌دهنده‌های هوش مصنوعی داره روشنه: روی few-shot ICL برای وظایف پیچیده حساب باز نکنید، مدل‌تون رو حتماً در قالب‌های مختلف prompt و روی داده‌های متنوع آزمایش کنید، انتظار شکنندگی در شرایط جدید رو داشته باشید و فراموش نکنید که در برخی موارد، استفاده از مدل‌های کلاسیک می‌تونه نتیجه‌ی بهتری بده.

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا اولین اپراتور هوش مصنوعی راهبردی ایران در حوزه ارائه خدمات و سرویس‌های زیرساخت هوش مصنوعی

🌐 لینک ارتباط با اهورا

@reza_jafari_ai