مدل یاد گرفته یا فقط داده‌هارو حفظ کرده؟ داستان Overfitting در یادگیری ماشین

تا حالا برات پیش اومده یه مدل بسازی که روی داده‌های آموزشی فوق‌العاده عمل کنه، ولی وقتی با داده‌ی جدید امتحانش می‌کنی، کلاً خراب کنه؟ این دقیقاً همون چیزیه که بهش می‌گن Overfitting. یعنی مدل به‌جای اینکه الگوهای واقعی داده‌هارو یاد بگیره، جزئیات و نویزهای خاص داده‌های آموزشی رو حفظ کرده. مثل وقتی که یکی برای امتحان فقط جواب سؤال‌ها رو حفظ می‌کنه، نه خود درس رو یاد می‌گیره. طبیعیه که توی سؤال‌های جدید گیر می‌کنه.

این اتفاق معمولاً وقتی می‌افته که مدل خیلی پیچیده‌ست یا داده‌هایی که داری کم و تکراری‌ان. یه مفهومی هست به اسم bias-variance tradeoff که خلاصه‌ش اینه: اگه مدل زیادی ساده باشه، چیزای مهم رو از دست می‌ده (bias زیاد می‌شه) و اگه زیادی پیچیده باشه، به‌جای یاد گرفتن، شروع می‌کنه به “حفظ کردن” داده‌ها (variance زیاد می‌شه).

نشونه‌های Overfitting معمولاً قابل تشخیصن. مثلاً وقتی دقت مدل روی داده‌های آموزشی خیلی بالاست ولی روی داده‌های اعتبارسنجی پایین میاد، یا وقتی خطای آموزش (training loss) داره کم می‌شه ولی خطای اعتبارسنجی (validation loss) دیگه بهتر نمی‌شه یا حتی بدتر می‌شه، باید بدونی یه جای کار می‌لنگه. مخصوصاً اگه مدل روی داده‌های جدید افت عملکرد شدیدی داشته باشه، یعنی به‌جای یادگیری، فقط داده‌ها رو حفظ کرده.

اما خبر خوب اینه که می‌تونی تا حد زیادی جلوش رو بگیری. یکی از بهترین کارها استفاده از cross-validationه؛ یعنی داده‌هارو به چند قسمت تقسیم می‌کنی و مدل رو چند بار روی ترکیب‌های مختلف آموزش می‌دی تا فقط روی یه بخش خاص از داده‌ها قفل نکنه. ساده‌تر کردن مدل هم همیشه مفیده. مدل‌های خیلی پیچیده معمولاً بیشتر دچار Overfitting می‌شن.

روش‌هایی مثل Regularization (مثلاً L1 یا L2) هم کمک زیادی می‌کنن. این روش‌ها یه جور جریمه برای وزن‌های بزرگ مدل اضافه می‌کنن تا مدل نتونه زیادی به یه ویژگی خاص وابسته بشه. اگه با شبکه‌های عصبی کار می‌کنی، Dropout یکی از روش‌هاییه که خیلی جواب می‌ده. با Dropout بعضی از نورون‌ها به‌صورت تصادفی در حین آموزش غیرفعال می‌شن تا مدل وابسته به یه مسیر خاص نشه.

یه تکنیک دیگه که معمولاً مؤثره، Early Stopping هست. یعنی وقتی دیدی عملکرد مدل روی داده‌های اعتبارسنجی دیگه بهتر نمی‌شه، آموزش رو همون‌جا متوقف کنی. اینطوری مدل قبل از اینکه شروع کنه به حفظ کردن جزئیات بی‌ربط، متوقف می‌شه. اگه داده‌هات محدوده، Data Augmentation خیلی به کارت میاد. مثلاً توی داده‌های تصویری می‌تونی با چرخوندن، بریدن یا تغییر روشنایی تصویر، داده‌های بیشتری بسازی تا مدل با تنوع بیشتری روبه‌رو بشه.

یه نکته‌ی مهم دیگه هم انتخاب ویژگی‌هاست (Feature Selection). حذف ویژگی‌های اضافی و پرنویز باعث می‌شه مدل تمرکزش رو روی چیزای مهم‌تر بذاره. گاهی هم می‌تونی از روش‌هایی مثل PCA برای کاهش ابعاد داده استفاده کنی تا ورودی‌ها خلاصه‌تر بشن.

در پروژه‌های بزرگ‌تر معمولاً از ترکیب چند مدل (Ensemble Methods) مثل Bagging یا Boosting استفاده می‌کنن. این کار باعث می‌شه ضعف یه مدل با قوت مدل‌های دیگه جبران بشه و نتیجه‌ی نهایی پایدارتر بشه.

در نهایت، همیشه یادت باشه هدف از ساخت مدل یادگیری ماشین این نیست که فقط روی داده‌های آموزش دقت بالایی داشته باشه، بلکه باید بتونه در دنیای واقعی هم خوب عمل کنه. اگه دیدی دقت مدل خیلی غیرواقعی بالاست، یه بار دیگه نگاهش کن. شاید مدل به‌جای یاد گرفتن، فقط داره داده‌هارو از بر می‌کنه.

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا اولین اپراتور هوش مصنوعی راهبردی ایران در حوزه ارائه خدمات و سرویس‌های زیرساخت هوش مصنوعی

🌐 لینک ارتباط با اهورا

@reza_jafari_ai