🧠 یان لوکُن دوباره برگشت: معرفی LeJEPA — نسل جدید یادگیری خودنظارتی

در مدل‌های قبلی خانوادهٔ JEPA همیشه نیاز به ترفندهای پیچیده بود تا مدل دچار collapsing نشود:
مثل stop-gradient،‌ معماری teacher–student یا هدهای پیش‌بینی‌کننده.

اما مدل جدید LeJEPA همهٔ این هک‌ها را حذف کرده و فقط یک Regularizer جدید اضافه کرده:
✨ SIGReg — Sketched Isotropic Gaussian Regularization

🔍 مدل SIGReg چه می‌کند؟
بردارهای ویژگی را وادار می‌کند که به‌طور یکنواخت در تمام جهت‌ها پخش شوند؛ یعنی یک ابر ایزوتروپیک بسازند.
این ساختار هندسی باعث می‌شود مدل کمترین خطا را در وظایف آینده داشته باشد — نه بر اساس حدس، بلکه بر اساس تحلیل ریاضی.

📌 چرا مهم است؟

✳️آموزش بسیار پایدارتر و ساده‌تر می‌شود

✳️به راحتی مقیاس‌پذیر است (تست روی مدل ۱.۸ میلیارد پارامتری)

✳️نیازی به teacher-student نیست

✳️کیفیت مدل بدون برچسب‌گذاری قابل تخمین است — چون loss به‌خوبی با دقت نهایی همبستگی دارد

✳️مناسب‌ترین هندسه برای نمایش ویژگی‌ها را ایجاد می‌کند


📈 نتیجه:
دقت 79٪ در ارزیابی linear probe روی ImageNet-1K با حداقل تنظیمات.

این کار یک گام مهم به سمت self-supervised learning قابل‌اعتماد، پایدار و مقیاس‌پذیر است.

📄 مقاله:
arxiv.org/abs/2511.08544

#AI #ML #SelfSupervised #LeJEPA #YannLeCun @rss_ai_ir