چطور بفهمیم مدل‌مون در Production درست کار می‌کنه وقتی Label نداریم؟

وقتی یه machine learning model رو می‌بری تو production و دیگه label در دسترس نداری، داستان ارزیابی خیلی فرق می‌کنه. اینجا دیگه نمی‌تونی مثل محیط آزمایشی به راحتی با معیارهایی مثل accuracy یا recall مدل رو بسنجی. پس باید به سراغ روش‌های غیرمستقیم بری. یکی از مهم‌ترین کارها پایش داده‌ها و خروجی مدل هست. یعنی باید ببینی داده‌های ورودی هنوز شبیه داده‌های زمان آموزش هستن یا نه. برای این کار از روش‌هایی مثل KL-divergence یا PSI استفاده می‌کنن. همین‌طور خروجی‌های مدل رو بررسی می‌کنی؛ مثلاً توزیع احتمالات یا مقادیر پیش‌بینی شده. اگه الگوها تغییر عجیب و غریبی داشتن، احتمالاً مدل داره از مسیر اصلی خارج می‌شه. یه موضوع دیگه هم بحث uncertainty یا confidence مدله؛ اگه مدل یه دفعه خیلی مطمئن یا برعکس خیلی مردد شد، اونم یه زنگ خطره.

از طرف دیگه همیشه می‌تونی به فکر گرفتن label جزئی یا دستی باشی. روش‌هایی مثل active learning کمک می‌کنن که فقط یه بخش کوچیک از پیش‌بینی‌ها رو به کارشناس یا آدم واقعی بدی برای برچسب‌گذاری. حتی می‌تونی توی سیستم shadow testing یا spot checking پیاده‌سازی کنی که بخشی از داده‌ها رو برای بررسی انسانی نگه داری. اینجوری یه تصویر نسبی از عملکرد مدل پیدا می‌کنی بدون اینکه همه داده‌ها رو نیاز به برچسب داشته باشی.

یه راه خیلی کاربردی دیگه اینه که به جای label مستقیم، سراغ KPIهای بیزنسی بری. مثلاً با A/B testing نسخه‌های مختلف مدل رو روی کاربرها امتحان کنی و ببینی کدوم بهتر روی معیارهایی مثل conversion rate یا CTR اثر می‌ذاره. توی سیستم‌های recommendation یا ads هم می‌تونی از روش‌های off-policy evaluation استفاده کنی و با داده‌های گذشته تخمین بزنی اگه مدل جدید بود، چه نتایجی می‌گرفتی.

علاوه بر این، بحث سازگاری و توافق هم مهمه. مثلاً می‌تونی چند مدل مختلف رو همزمان اجرا کنی و هر وقت اختلاف زیادی بین خروجی‌ها دیدی، بفهمی یه جای کار می‌لنگه. یا با قوانین قطعی و دانش حوزه (domain knowledge) مقایسه کنی؛ مثلاً مدلی که پیش‌بینی منفی برای چیزی می‌ده که ذاتاً نمی‌تونه منفی باشه، معلومه اشتباه داره. همین‌طور تست‌های consistency هم جواب می‌ده؛ یعنی ورودی رو کمی تغییر بدی (مثلاً تصویر رو بچرخونی یا متن رو paraphrase کنی) و ببینی مدل همچنان پایدار جواب می‌ده یا نه.

در کنار این‌ها می‌تونی از weak supervision یا pseudo-labeling کمک بگیری. یعنی یا با قوانین ساده یه جور label مصنوعی درست کنی یا پیش‌بینی‌های خیلی مطمئن مدل رو به عنوان برچسب موقت در نظر بگیری و با یه مدل دوم بررسی کنی که چقدر با هم هماهنگن.

یه سناریوی دیگه هم پایش بلندمدته. توی بعضی حوزه‌ها مثل fraud detection یا churn prediction، label با تأخیر به دست میاد. پس باید پیش‌بینی‌های الان رو ذخیره کنی تا بعداً که برچسب واقعی رسید، بتونی کیفیت مدل رو بسنجی. یا اینکه از روش canary release استفاده کنی، یعنی اول مدل رو روی یه بخش کوچیک از کاربرها امتحان کنی، اگه همه‌چیز اوکی بود کم‌کم برای همه rollout کنی.

در نهایت بسته به نوع مسئله هم روش‌های خاص خودش رو داره. مثلاً تو classification باید حواست به تعادل کلاس‌ها و calibration باشه، تو regression میانگین و واریانس خروجی‌ها مهم می‌شه، تو recommendation بیشتر سراغ شاخص‌هایی مثل CTR یا زمان تعامل (dwell time) می‌ری، و تو anomaly detection نرخ anomaly رو در طول زمان دنبال می‌کنی.

خلاصه اینکه وقتی label نداری، ارزیابی مستقیم ممکن نیست. پس باید ترکیبی از پایش داده و خروجی‌ها، گرفتن label جزئی یا با تأخیر، بررسی KPIهای بیزنسی و تست‌های سازگاری رو استفاده کنی تا مطمئن بشی مدل توی production هنوز درست و سالم کار می‌کنه.

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا اولین اپراتور هوش مصنوعی راهبردی ایران در حوزه ارائه خدمات و سرویس‌های زیرساخت هوش مصنوعی

🌐 لینک ارتباط با اهورا

@reza_jafari_ai