مدل یاد گرفته یا فقط داده‌هارو حفظ کرده؟ داستان Overfitting در یادگیری ماشین

تا حالا برات پیش اومده یه مدل بسازی که روی داده‌های آموزشی فوق‌العاده عمل کنه، ولی وقتی با داده‌ی جدید امتحانش می‌کنی، کلاً خراب کنه؟ این دقیقاً همون چیزیه که بهش می‌گن Overfitting. یعنی مدل به‌جای اینکه الگوهای واقعی داده‌هارو یاد بگیره، جزئیات و نویزهای خاص داده‌های آموزشی رو حفظ کرده. مثل وقتی که یکی برای امتحان فقط جواب سؤال‌ها رو حفظ می‌کنه، نه خود درس رو یاد می‌گیره. طبیعیه که توی سؤال‌های جدید گیر می‌کنه.

این اتفاق معمولاً وقتی می‌افته که مدل خیلی پیچیده‌ست یا داده‌هایی که داری کم و تکراری‌ان. یه مفهومی هست به اسم bias-variance tradeoff که خلاصه‌ش اینه: اگه مدل زیادی ساده باشه، چیزای مهم رو از دست می‌ده (bias زیاد می‌شه) و اگه زیادی پیچیده باشه، به‌جای یاد گرفتن، شروع می‌کنه به “حفظ کردن” داده‌ها (variance زیاد می‌شه).

نشونه‌های Overfitting معمولاً قابل تشخیصن. مثلاً وقتی دقت مدل روی داده‌های آموزشی خیلی بالاست ولی روی داده‌های اعتبارسنجی پایین میاد، یا وقتی خطای آموزش (training loss) داره کم می‌شه ولی خطای اعتبارسنجی (validation loss) دیگه بهتر نمی‌شه یا حتی بدتر می‌شه، باید بدونی یه جای کار می‌لنگه. مخصوصاً اگه مدل روی داده‌های جدید افت عملکرد شدیدی داشته باشه، یعنی به‌جای یادگیری، فقط داده‌ها رو حفظ کرده.

اما خبر خوب اینه که می‌تونی تا حد زیادی جلوش رو بگیری. یکی از بهترین کارها استفاده از cross-validationه؛ یعنی داده‌هارو به چند قسمت تقسیم می‌کنی و مدل رو چند بار روی ترکیب‌های مختلف آموزش می‌دی تا فقط روی یه بخش خاص از داده‌ها قفل نکنه. ساده‌تر کردن مدل هم همیشه مفیده. مدل‌های خیلی پیچیده معمولاً بیشتر دچار Overfitting می‌شن.

روش‌هایی مثل Regularization (مثلاً L1 یا L2) هم کمک زیادی می‌کنن. این روش‌ها یه جور جریمه برای وزن‌های بزرگ مدل اضافه می‌کنن تا مدل نتونه زیادی به یه ویژگی خاص وابسته بشه. اگه با شبکه‌های عصبی کار می‌کنی، Dropout یکی از روش‌هاییه که خیلی جواب می‌ده. با Dropout بعضی از نورون‌ها به‌صورت تصادفی در حین آموزش غیرفعال می‌شن تا مدل وابسته به یه مسیر خاص نشه.

یه تکنیک دیگه که معمولاً مؤثره، Early Stopping هست. یعنی وقتی دیدی عملکرد مدل روی داده‌های اعتبارسنجی دیگه بهتر نمی‌شه، آموزش رو همون‌جا متوقف کنی. اینطوری مدل قبل از اینکه شروع کنه به حفظ کردن جزئیات بی‌ربط، متوقف می‌شه. اگه داده‌هات محدوده، Data Augmentation خیلی به کارت میاد. مثلاً توی داده‌های تصویری می‌تونی با چرخوندن، بریدن یا تغییر روشنایی تصویر، داده‌های بیشتری بسازی تا مدل با تنوع بیشتری روبه‌رو بشه.

یه نکته‌ی مهم دیگه هم انتخاب ویژگی‌هاست (Feature Selection). حذف ویژگی‌های اضافی و پرنویز باعث می‌شه مدل تمرکزش رو روی چیزای مهم‌تر بذاره. گاهی هم می‌تونی از روش‌هایی مثل PCA برای کاهش ابعاد داده استفاده کنی تا ورودی‌ها خلاصه‌تر بشن.

در پروژه‌های بزرگ‌تر معمولاً از ترکیب چند مدل (Ensemble Methods) مثل Bagging یا Boosting استفاده می‌کنن. این کار باعث می‌شه ضعف یه مدل با قوت مدل‌های دیگه جبران بشه و نتیجه‌ی نهایی پایدارتر بشه.

در نهایت، همیشه یادت باشه هدف از ساخت مدل یادگیری ماشین این نیست که فقط روی داده‌های آموزش دقت بالایی داشته باشه، بلکه باید بتونه در دنیای واقعی هم خوب عمل کنه. اگه دیدی دقت مدل خیلی غیرواقعی بالاست، یه بار دیگه نگاهش کن. شاید مدل به‌جای یاد گرفتن، فقط داره داده‌هارو از بر می‌کنه.

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا اولین اپراتور هوش مصنوعی راهبردی ایران در حوزه ارائه خدمات و سرویس‌های زیرساخت هوش مصنوعی

🌐 لینک ارتباط با اهورا

@reza_jafari_ai

گوگل داره روی نسخه جدیدی از Ask Maps کار میکنه که یه رابط مثل Gemini به نقشه گوگل اضافه میکنه، اینجوری که میتونید ازش با صدا یا تایپ کردن سوال کنید و در کنار جواب نقشه هم بهتون نشون میده، مثلا اگه در مورد شهر بوشهر سوال کنید این شهر رو روی نقشه بهتون نمایش میده.

دلیل اینکه وجود یه بخش مکالمه‌محور توی نقشه مهمه اینه که کاربر ممکنه با درخواست اول جوابشو نگیره، مثلا شما بگید رستوران‌های اطرافم رو نشون بده، ولی بعد ممکنه بهش بگید اون‌هایی که امتیاز بالایی دارن رو فقط بیار. یا سینمایی که به مترو نزدیک هست. بدون اینکه نیاز باشه فیلترهارو تغییر بدی و فقط کافیه مدام باهاش چت کنی.

گوگل میگه کسب‌و‌کارها هم اگه میخوان بیشتر توی نتایج دیده بشن باید جرئیات بیشتری به لوکیشن خودشون توی نقشه اضافه کنن، تا هوش‌مصنوعی بهتر اونارو پیشنهاد بده، هنوز زمان انتشار عمومی این ویژگی مشخص نیست. [L]

🤓 @geekalerts

اواخر امسال Veo 4 از گوگل میاد که پاسخی به Sora 2 هست، ولی زودتر از اون گوگل Veo 3.1 رو عمومی کرده، این نسخه امکان ساخت ویدیو تا ۱ دقیقه با کیفیت 1080p رو میده، پریست‌های سینمایی و قابلیت تولید ویدیو با چند شات بهش اضافه شده که به کاربر کنترل بیشتری روی کارگردانی حرکت دوربین، نورپردازی و داستان‌پردازی بصری میده.

مدل Veo 3.1 الان از طریق Gemini API و Vertex AI API قابل دسترسه و میتونید ازش استفاده کنید، برنامه‌های دیگه هم به‌زودی این آپدیت رو دریافت میکنن. [L]

🤓 @geekalerts

گوگل نانو بنانا رو به NotebookLM اضافه کرده، حالا ویدیوهایی که با Video Overviews میسازین میتونن یکی از سبک‌های زیر رو داشته باشن.

آبرنگ (Watercolor)
کاردستی کاغذی (Papercraft)
انیمه (Anime)
وایت‌برد (Whiteboard)
چاپ قدیمی (Retro Print)
میراث (Heritage)

همچنین NotebookLM حالا دو فرمت ویدیویی مختلف ارائه میده، اولی Explainer (توضیحی): این فرمت یه ویدیوی جامع و ساختاریافته بر اساس منابع شما درست میکنه که برای درک عمیق موضوع مناسبه. دومی Brief (مختصر): یه فرمت ویدیویی کوتاه و جدیده که کمک میکنه ایده‌های اصلی یه سند رو سریع متوجه بشین.

توی دستوراتی هم که برای ساخت ویدیو بهش میدید میتونید ازش بخواید فقط روی بخش خاصی تمرکز کنه، مثلا بگید در مورد تحقیقاتی که آپلود کردم فقط بخش‌های مرتبط با ایران رو ویدیو کن.

این ویژگی‌ها از الان برای بعضی از کاربرها فعال شده و طی هفته‌های آینده برای تمام کاربران فعال میشه. [L]

🤓 @geekalerts