⚡️ Glyph —
فشرده‌سازی بصری-متنی برای گسترش محدوده‌ی کانتکست در مدل‌های زبانی

ایده‌ی اصلی Glyph بسیار ساده اما نوآورانه است:
به‌جای آنکه مدل را با هزاران خط متن تغذیه کنیم، متن به‌صورت تصویر نمایش داده می‌شود و سپس توسط مدل‌های Vision-Language پردازش می‌گردد 🧠🖼️

🔹 مدل از یک الگوریتم ژنتیکی هدایت‌شده توسط LLM استفاده می‌کند تا بهترین ترکیب از ویژگی‌های بصری را پیدا کند — از جمله نوع فونت، چگالی، و چیدمان متن — و میان فشرده‌سازی و دقت معنایی تعادل برقرار کند.

💡 نتیجه؟

✳️هزینه محاسباتی به‌شدت کاهش می‌یابد.

✳️ساختار معنایی متن حفظ می‌شود.

✳️دقت مدل تقریباً هم‌سطح با مدل‌های قدرتمندی مثل Qwen3-8B باقی می‌ماند.


در تست‌های فشرده‌سازی افراطی، یک مدل VLM با کانتکست 128K می‌تواند وظایفی را حل کند که در مدل‌های متنی کلاسیک نیازمند بیش از ۱ میلیون توکن است!
به‌عبارت دیگر، درک کانتکست طولانی اکنون به یک مسئله‌ی چندوجهی (Multimodal) تبدیل شده است، نه صرفاً متنی.

📄 مقاله:
arxiv.org/abs/2510.17800
🧩 وزن‌ها:
huggingface.co/zai-org/Glyph
💻 کد منبع:
github.com/thu-coai/Glyph

@rss_ai_ir
#AI #LLM #Multimodal #DeepLearning #Compression #Glyph #Research

🧠 Thinking Machines معرفی کرد:
On-Policy Distillation —
روشی جدید برای آموزش مدل‌های زبانی که به‌جای حفظ کردن، یاد می‌گیرند فکر کنند.

در این روش نوآورانه از آزمایشگاه Thinking Machines Lab، مدل کوچک‌تر دیگر فقط پاسخ‌های مدل بزرگ‌تر را تکرار نمی‌کند؛ بلکه خودش تلاش می‌کند مسئله را حل کند، سپس «استاد» (مدل بزرگ‌تر) مسیر منطق و خطاهایش را تحلیل کرده و راهنمایی‌اش می‌کند.

به این ترتیب، مدل کوچک‌تر نه‌تنها دانش بلکه روش تفکر و استدلال مدل بزرگ‌تر را نیز فرا می‌گیرد. 🧩

📊 نتایج آزمایش‌ها (روی مسائل منطقی و ریاضی):

♻️مدل کوچک پس از آموزش با on-policy distillation به دقتی نزدیک به مدل بزرگ‌تر رسید.

♻️هزینه‌های محاسباتی چندین برابر کاهش یافت.

♻️مدل توانست خطاهای خودش را بهتر درک کند و در مواجهه با مسائل جدید پایدارتر عمل کند.


💡 چرا این مهم است؟
در روش‌های سنتی، مدل فقط پاسخ را تقلید می‌کند (مثل حفظ کردن).
اما در اینجا مدل مانند انسان یاد می‌گیرد — تجربه می‌کند، اشتباه می‌کند و اصلاح می‌شود.

🔹 روش جدید تعادلی هوشمند بین یادگیری تقویتی (RL) و دانش تقطیری (KD) ایجاد می‌کند.
🔹 بدون نیاز به محیط‌های پیچیده RL، مدل می‌تواند به‌صورت خودکار و با هزینه‌ی کمتر، یادگیری تطبیقی انجام دهد.
🔹 نتیجه: مدل‌های کوچک‌تر که تقریباً مثل مدل‌های بزرگ فکر می‌کنند، اما سریع‌تر، ارزان‌تر و مناسب برای edge devices، ربات‌ها و سیستم‌های محلی خصوصی هستند.

📘 مطالعه‌ی بیشتر:
thinkingmachines.ai/blog/on-policy-distillation/

@rss_ai_ir
#AI #LLM #ThinkingMachines #DeepLearning #MachineLearning #Distillation #Innovation

📚 Grokipedia v0.1 —
پاسخ ایلان ماسک به ویکی‌پدیا 🚀

ایلان ماسک نسخه‌ی آزمایشی Grokipedia v0.1 را معرفی کرده و قول داده نسخه‌ی 1 آن «۱۰ برابر بهتر» از نسخه‌ی فعلی باشد.
با این حال خودش گفته که حتی نسخه‌ی ۰.۱ هم از ویکی‌پدیا بهتر است — ادعایی که جای بحث دارد 😅

📊 از نظر عددی:

Grokipedia: حدود ۹۰۰٬۰۰۰ مقاله

Wikipedia: بیش از ۷ میلیون مقاله


از نظر ظاهر، طراحی سایت بسیار شبیه به ویکی‌پدیا است.
برخی از مطالب از ویکی‌پدیا گرفته شده و ویرایش شده‌اند، برخی دیگر را مستقیماً مدل Grok نوشته است.

💡 اما بخش جذاب ماجرا این است:
user-requested changes validated by AI —
یعنی ویرایش‌هایی که توسط کاربران (کوجانی‌ها 😄) انجام می‌شود، ابتدا توسط هوش مصنوعی بررسی و تأیید می‌شود.
به‌نوعی ماسک می‌گوید که «انسان‌ها بیشتر از AI دچار توهم یا تحریف واقعیت می‌شوند!»

🧠 در نگاه اول، Grokipedia لحنی واقع‌گرایانه‌تر و کمتر سیاسی دارد — تمرکز بر داده‌ها و حقایق، نه تفسیرها و ارزش‌گذاری‌ها.

📷 در نمونه‌ای که منتشر شده، مقاله‌ای درباره‌ی «قتل جورج فلوید» در هر دو نسخه مقایسه شده — و تفاوت در لحن و زاویه‌ی دید به‌وضوح دیده می‌شود.

🔗 grokipedia.com

به‌نظر می‌رسد ماسک واقعاً قصد دارد «دانشنامه‌ای بدون سوگیری» بسازد — باید دید تا کجا موفق خواهد بود.

@rss_ai_ir
#ElonMusk #Grok #AI #Grokipedia #Wikipedia #TechNews