🧠 Thinking Machines معرفی کرد:
On-Policy Distillation —
روشی جدید برای آموزش مدل‌های زبانی که به‌جای حفظ کردن، یاد می‌گیرند فکر کنند.

در این روش نوآورانه از آزمایشگاه Thinking Machines Lab، مدل کوچک‌تر دیگر فقط پاسخ‌های مدل بزرگ‌تر را تکرار نمی‌کند؛ بلکه خودش تلاش می‌کند مسئله را حل کند، سپس «استاد» (مدل بزرگ‌تر) مسیر منطق و خطاهایش را تحلیل کرده و راهنمایی‌اش می‌کند.

به این ترتیب، مدل کوچک‌تر نه‌تنها دانش بلکه روش تفکر و استدلال مدل بزرگ‌تر را نیز فرا می‌گیرد. 🧩

📊 نتایج آزمایش‌ها (روی مسائل منطقی و ریاضی):

♻️مدل کوچک پس از آموزش با on-policy distillation به دقتی نزدیک به مدل بزرگ‌تر رسید.

♻️هزینه‌های محاسباتی چندین برابر کاهش یافت.

♻️مدل توانست خطاهای خودش را بهتر درک کند و در مواجهه با مسائل جدید پایدارتر عمل کند.


💡 چرا این مهم است؟
در روش‌های سنتی، مدل فقط پاسخ را تقلید می‌کند (مثل حفظ کردن).
اما در اینجا مدل مانند انسان یاد می‌گیرد — تجربه می‌کند، اشتباه می‌کند و اصلاح می‌شود.

🔹 روش جدید تعادلی هوشمند بین یادگیری تقویتی (RL) و دانش تقطیری (KD) ایجاد می‌کند.
🔹 بدون نیاز به محیط‌های پیچیده RL، مدل می‌تواند به‌صورت خودکار و با هزینه‌ی کمتر، یادگیری تطبیقی انجام دهد.
🔹 نتیجه: مدل‌های کوچک‌تر که تقریباً مثل مدل‌های بزرگ فکر می‌کنند، اما سریع‌تر، ارزان‌تر و مناسب برای edge devices، ربات‌ها و سیستم‌های محلی خصوصی هستند.

📘 مطالعه‌ی بیشتر:
thinkingmachines.ai/blog/on-policy-distillation/

@rss_ai_ir
#AI #LLM #ThinkingMachines #DeepLearning #MachineLearning #Distillation #Innovation

📚 Grokipedia v0.1 —
پاسخ ایلان ماسک به ویکی‌پدیا 🚀

ایلان ماسک نسخه‌ی آزمایشی Grokipedia v0.1 را معرفی کرده و قول داده نسخه‌ی 1 آن «۱۰ برابر بهتر» از نسخه‌ی فعلی باشد.
با این حال خودش گفته که حتی نسخه‌ی ۰.۱ هم از ویکی‌پدیا بهتر است — ادعایی که جای بحث دارد 😅

📊 از نظر عددی:

Grokipedia: حدود ۹۰۰٬۰۰۰ مقاله

Wikipedia: بیش از ۷ میلیون مقاله


از نظر ظاهر، طراحی سایت بسیار شبیه به ویکی‌پدیا است.
برخی از مطالب از ویکی‌پدیا گرفته شده و ویرایش شده‌اند، برخی دیگر را مستقیماً مدل Grok نوشته است.

💡 اما بخش جذاب ماجرا این است:
user-requested changes validated by AI —
یعنی ویرایش‌هایی که توسط کاربران (کوجانی‌ها 😄) انجام می‌شود، ابتدا توسط هوش مصنوعی بررسی و تأیید می‌شود.
به‌نوعی ماسک می‌گوید که «انسان‌ها بیشتر از AI دچار توهم یا تحریف واقعیت می‌شوند!»

🧠 در نگاه اول، Grokipedia لحنی واقع‌گرایانه‌تر و کمتر سیاسی دارد — تمرکز بر داده‌ها و حقایق، نه تفسیرها و ارزش‌گذاری‌ها.

📷 در نمونه‌ای که منتشر شده، مقاله‌ای درباره‌ی «قتل جورج فلوید» در هر دو نسخه مقایسه شده — و تفاوت در لحن و زاویه‌ی دید به‌وضوح دیده می‌شود.

🔗 grokipedia.com

به‌نظر می‌رسد ماسک واقعاً قصد دارد «دانشنامه‌ای بدون سوگیری» بسازد — باید دید تا کجا موفق خواهد بود.

@rss_ai_ir
#ElonMusk #Grok #AI #Grokipedia #Wikipedia #TechNews

⚡️ vLLM Sleep Mode —
حالت خواب برای تعویض سریع مدل‌ها

در نسخه‌ی جدید منتشرشده در بلاگ vLLM، ویژگی جدیدی به نام Sleep Mode معرفی شده که زمان تعویض بین مدل‌های زبانی را به‌شدت کاهش می‌دهد.

🧠 در روش‌های سنتی، اگر بخواهید دو مدل را به‌صورت هم‌زمان در GPU داشته باشید، یا باید هر دو را بارگذاری کنید (که منابع را دو برابر مصرف می‌کند) یا یکی را خاموش و دیگری را مجدداً بارگذاری کنید — که معمولاً ۳۰ تا ۱۰۰ ثانیه زمان می‌برد.

Sleep Mode
راه سوم را ارائه می‌دهد:
مدل‌ها در حالت «خواب» قرار می‌گیرند و فقط در چند ثانیه دوباره «بیدار» می‌شوند، در حالی که وضعیت اولیه‌شان حفظ شده است.

🔹 دو سطح خواب:

1. Sleep Level 1:
وزن‌ها در RAM ذخیره می‌شوند — راه‌اندازی بسیار سریع اما نیاز به رم بالا دارد.


2. Sleep Level 2:
وزن‌ها کاملاً آزاد می‌شوند — مصرف رم پایین‌تر، ولی بیدارسازی کمی کندتر است.



📊 نتایج:

♻️سرعت سوئیچ بین مدل‌ها تا ۱۸ تا ۲۰۰ برابر بیشتر

♻️سرعت استنتاج بعد از بیداری بین ۶۱ تا ۸۸٪ سریع‌تر

♻️زیرا فرآیندهایی مانند حافظه‌ی CUDA، گراف‌ها و JIT compilation حفظ می‌شوند.


💡 ویژگی Sleep Mode برای محیط‌هایی که نیاز به تعویض مداوم بین چند مدل دارند ایده‌آل است —
از GPUهای متوسط مثل A4000 تا مدل‌های قدرتمند مانند A100.

🔗 مطالعه‌ی کامل در بلاگ vLLM

@rss_ai_ir
#vLLM #AI #Optimization #Inference #DeepLearning #LLM