⚡️ Glyph —
فشرده‌سازی بصری-متنی برای گسترش محدوده‌ی کانتکست در مدل‌های زبانی

ایده‌ی اصلی Glyph بسیار ساده اما نوآورانه است:
به‌جای آنکه مدل را با هزاران خط متن تغذیه کنیم، متن به‌صورت تصویر نمایش داده می‌شود و سپس توسط مدل‌های Vision-Language پردازش می‌گردد 🧠🖼️

🔹 مدل از یک الگوریتم ژنتیکی هدایت‌شده توسط LLM استفاده می‌کند تا بهترین ترکیب از ویژگی‌های بصری را پیدا کند — از جمله نوع فونت، چگالی، و چیدمان متن — و میان فشرده‌سازی و دقت معنایی تعادل برقرار کند.

💡 نتیجه؟

✳️هزینه محاسباتی به‌شدت کاهش می‌یابد.

✳️ساختار معنایی متن حفظ می‌شود.

✳️دقت مدل تقریباً هم‌سطح با مدل‌های قدرتمندی مثل Qwen3-8B باقی می‌ماند.


در تست‌های فشرده‌سازی افراطی، یک مدل VLM با کانتکست 128K می‌تواند وظایفی را حل کند که در مدل‌های متنی کلاسیک نیازمند بیش از ۱ میلیون توکن است!
به‌عبارت دیگر، درک کانتکست طولانی اکنون به یک مسئله‌ی چندوجهی (Multimodal) تبدیل شده است، نه صرفاً متنی.

📄 مقاله:
arxiv.org/abs/2510.17800
🧩 وزن‌ها:
huggingface.co/zai-org/Glyph
💻 کد منبع:
github.com/thu-coai/Glyph

@rss_ai_ir
#AI #LLM #Multimodal #DeepLearning #Compression #Glyph #Research

🧠 Thinking Machines معرفی کرد:
On-Policy Distillation —
روشی جدید برای آموزش مدل‌های زبانی که به‌جای حفظ کردن، یاد می‌گیرند فکر کنند.

در این روش نوآورانه از آزمایشگاه Thinking Machines Lab، مدل کوچک‌تر دیگر فقط پاسخ‌های مدل بزرگ‌تر را تکرار نمی‌کند؛ بلکه خودش تلاش می‌کند مسئله را حل کند، سپس «استاد» (مدل بزرگ‌تر) مسیر منطق و خطاهایش را تحلیل کرده و راهنمایی‌اش می‌کند.

به این ترتیب، مدل کوچک‌تر نه‌تنها دانش بلکه روش تفکر و استدلال مدل بزرگ‌تر را نیز فرا می‌گیرد. 🧩

📊 نتایج آزمایش‌ها (روی مسائل منطقی و ریاضی):

♻️مدل کوچک پس از آموزش با on-policy distillation به دقتی نزدیک به مدل بزرگ‌تر رسید.

♻️هزینه‌های محاسباتی چندین برابر کاهش یافت.

♻️مدل توانست خطاهای خودش را بهتر درک کند و در مواجهه با مسائل جدید پایدارتر عمل کند.


💡 چرا این مهم است؟
در روش‌های سنتی، مدل فقط پاسخ را تقلید می‌کند (مثل حفظ کردن).
اما در اینجا مدل مانند انسان یاد می‌گیرد — تجربه می‌کند، اشتباه می‌کند و اصلاح می‌شود.

🔹 روش جدید تعادلی هوشمند بین یادگیری تقویتی (RL) و دانش تقطیری (KD) ایجاد می‌کند.
🔹 بدون نیاز به محیط‌های پیچیده RL، مدل می‌تواند به‌صورت خودکار و با هزینه‌ی کمتر، یادگیری تطبیقی انجام دهد.
🔹 نتیجه: مدل‌های کوچک‌تر که تقریباً مثل مدل‌های بزرگ فکر می‌کنند، اما سریع‌تر، ارزان‌تر و مناسب برای edge devices، ربات‌ها و سیستم‌های محلی خصوصی هستند.

📘 مطالعه‌ی بیشتر:
thinkingmachines.ai/blog/on-policy-distillation/

@rss_ai_ir
#AI #LLM #ThinkingMachines #DeepLearning #MachineLearning #Distillation #Innovation

📚 Grokipedia v0.1 —
پاسخ ایلان ماسک به ویکی‌پدیا 🚀

ایلان ماسک نسخه‌ی آزمایشی Grokipedia v0.1 را معرفی کرده و قول داده نسخه‌ی 1 آن «۱۰ برابر بهتر» از نسخه‌ی فعلی باشد.
با این حال خودش گفته که حتی نسخه‌ی ۰.۱ هم از ویکی‌پدیا بهتر است — ادعایی که جای بحث دارد 😅

📊 از نظر عددی:

Grokipedia: حدود ۹۰۰٬۰۰۰ مقاله

Wikipedia: بیش از ۷ میلیون مقاله


از نظر ظاهر، طراحی سایت بسیار شبیه به ویکی‌پدیا است.
برخی از مطالب از ویکی‌پدیا گرفته شده و ویرایش شده‌اند، برخی دیگر را مستقیماً مدل Grok نوشته است.

💡 اما بخش جذاب ماجرا این است:
user-requested changes validated by AI —
یعنی ویرایش‌هایی که توسط کاربران (کوجانی‌ها 😄) انجام می‌شود، ابتدا توسط هوش مصنوعی بررسی و تأیید می‌شود.
به‌نوعی ماسک می‌گوید که «انسان‌ها بیشتر از AI دچار توهم یا تحریف واقعیت می‌شوند!»

🧠 در نگاه اول، Grokipedia لحنی واقع‌گرایانه‌تر و کمتر سیاسی دارد — تمرکز بر داده‌ها و حقایق، نه تفسیرها و ارزش‌گذاری‌ها.

📷 در نمونه‌ای که منتشر شده، مقاله‌ای درباره‌ی «قتل جورج فلوید» در هر دو نسخه مقایسه شده — و تفاوت در لحن و زاویه‌ی دید به‌وضوح دیده می‌شود.

🔗 grokipedia.com

به‌نظر می‌رسد ماسک واقعاً قصد دارد «دانشنامه‌ای بدون سوگیری» بسازد — باید دید تا کجا موفق خواهد بود.

@rss_ai_ir
#ElonMusk #Grok #AI #Grokipedia #Wikipedia #TechNews

⚡️ vLLM Sleep Mode —
حالت خواب برای تعویض سریع مدل‌ها

در نسخه‌ی جدید منتشرشده در بلاگ vLLM، ویژگی جدیدی به نام Sleep Mode معرفی شده که زمان تعویض بین مدل‌های زبانی را به‌شدت کاهش می‌دهد.

🧠 در روش‌های سنتی، اگر بخواهید دو مدل را به‌صورت هم‌زمان در GPU داشته باشید، یا باید هر دو را بارگذاری کنید (که منابع را دو برابر مصرف می‌کند) یا یکی را خاموش و دیگری را مجدداً بارگذاری کنید — که معمولاً ۳۰ تا ۱۰۰ ثانیه زمان می‌برد.

Sleep Mode
راه سوم را ارائه می‌دهد:
مدل‌ها در حالت «خواب» قرار می‌گیرند و فقط در چند ثانیه دوباره «بیدار» می‌شوند، در حالی که وضعیت اولیه‌شان حفظ شده است.

🔹 دو سطح خواب:

1. Sleep Level 1:
وزن‌ها در RAM ذخیره می‌شوند — راه‌اندازی بسیار سریع اما نیاز به رم بالا دارد.


2. Sleep Level 2:
وزن‌ها کاملاً آزاد می‌شوند — مصرف رم پایین‌تر، ولی بیدارسازی کمی کندتر است.



📊 نتایج:

♻️سرعت سوئیچ بین مدل‌ها تا ۱۸ تا ۲۰۰ برابر بیشتر

♻️سرعت استنتاج بعد از بیداری بین ۶۱ تا ۸۸٪ سریع‌تر

♻️زیرا فرآیندهایی مانند حافظه‌ی CUDA، گراف‌ها و JIT compilation حفظ می‌شوند.


💡 ویژگی Sleep Mode برای محیط‌هایی که نیاز به تعویض مداوم بین چند مدل دارند ایده‌آل است —
از GPUهای متوسط مثل A4000 تا مدل‌های قدرتمند مانند A100.

🔗 مطالعه‌ی کامل در بلاگ vLLM

@rss_ai_ir
#vLLM #AI #Optimization #Inference #DeepLearning #LLM