⚡️ Omni-Embed-Nemotron —
مدل چندوجهی جدید انویدیا برای جستجو در متن، تصویر، صدا و ویدیو

انویدیا از مدل Omni-Embed-Nemotron رونمایی کرد — سامانه‌ای یکپارچه برای تبدیل انواع داده‌ها به نمایش برداری مشترک (Unified Embedding).

🎯 ویژگی‌های کلیدی:

پشتیبانی از همه نوع داده: 📝 متن، 🖼 تصویر، 🔊 صدا، 🎥 ویدیو

مبتنی بر معماری Qwen Omni (ماژول Thinker، بدون تولید متن)

طول زمینه تا ۳۲٬۷۶۸ توکن

اندازه‌ی بردار نهائی (Embedding) برابر ۲۰۴۸

بهینه‌شده برای GPU و پشتیبانی از FlashAttention 2


🚀 کاربردها:

♻️جستجوی متقاطع بین مدیاها (مثلاً پیدا کردن ویدیو بر اساس متن یا تصویر)

♻️بهبود پروژه‌های RAG (Retrieval-Augmented Generation)

♻️توسعه سیستم‌های درک چندوجهی محتوا
♻️مدلی ساده، سریع و باز که مرز میان داده‌های متنی و دیداری را از میان برمی‌دارد.

🌐 مدل متن‌باز:
huggingface.co/nvidia/omni-embed-nemotron-3b

#NVIDIA #OmniEmbed #CrossModal #RAG #AI #OpenSource #Multimodal #هوش_مصنوعی #یادگیری_عمیق #جستجوی_هوشمند

🧠 Qwen3-VL-2B-Thinking —
نسخه کوچک اما هوشمند مدل چندحالته‌ی Qwen، مخصوص استدلال و تحلیل منطقی

این نسخه‌ی فشرده از خانواده‌ی Qwen3-VL برای تفکر عمیق، تحلیل داده و کاربردهای عامل‌محور (Agent-based) طراحی شده است.

در سری Qwen-VL دو حالت کلیدی وجود دارد:
🔹 Instruct —
برای گفتگوها و پاسخ به دستورها
🔹 Thinking —
برای منطق، برنامه‌نویسی و حل مسائل پیچیده

✨ ویژگی‌ها:

ساختار چندحالته (Multimodal): درک هم‌زمان متن و تصویر، تحلیل محتوا و کشف روابط علت و معلولی

بهینه‌شده برای وظایف استدلالی، جایی که تمرکز روی فرآیند تفکر و نتیجه‌گیری است، نه صرفاً تولید متن

تنها با ۲ میلیارد پارامتر، به‌راحتی روی GPUهای محلی یا محیط‌های ابری قابل اجراست

پشتیبانی از Tool Calling و ادغام با چارچوب‌های عامل‌محور (Agent Frameworks)


📘 نتیجه:
مدلی کوچک، سریع و درعین‌حال قدرتمند برای تفکر و تحلیل — گزینه‌ای عالی برای پروژه‌های سبک و هوشمند 💡

🔗 مشاهده در Hugging Face

@rss_ai_ir

#هوش_مصنوعی #Qwen #Qwen3VL #Reasoning #LLM #OpenSource #Multimodal #AI

⚡️ Glyph —
فشرده‌سازی بصری-متنی برای گسترش محدوده‌ی کانتکست در مدل‌های زبانی

ایده‌ی اصلی Glyph بسیار ساده اما نوآورانه است:
به‌جای آنکه مدل را با هزاران خط متن تغذیه کنیم، متن به‌صورت تصویر نمایش داده می‌شود و سپس توسط مدل‌های Vision-Language پردازش می‌گردد 🧠🖼️

🔹 مدل از یک الگوریتم ژنتیکی هدایت‌شده توسط LLM استفاده می‌کند تا بهترین ترکیب از ویژگی‌های بصری را پیدا کند — از جمله نوع فونت، چگالی، و چیدمان متن — و میان فشرده‌سازی و دقت معنایی تعادل برقرار کند.

💡 نتیجه؟

✳️هزینه محاسباتی به‌شدت کاهش می‌یابد.

✳️ساختار معنایی متن حفظ می‌شود.

✳️دقت مدل تقریباً هم‌سطح با مدل‌های قدرتمندی مثل Qwen3-8B باقی می‌ماند.


در تست‌های فشرده‌سازی افراطی، یک مدل VLM با کانتکست 128K می‌تواند وظایفی را حل کند که در مدل‌های متنی کلاسیک نیازمند بیش از ۱ میلیون توکن است!
به‌عبارت دیگر، درک کانتکست طولانی اکنون به یک مسئله‌ی چندوجهی (Multimodal) تبدیل شده است، نه صرفاً متنی.

📄 مقاله:
arxiv.org/abs/2510.17800
🧩 وزن‌ها:
huggingface.co/zai-org/Glyph
💻 کد منبع:
github.com/thu-coai/Glyph

@rss_ai_ir
#AI #LLM #Multimodal #DeepLearning #Compression #Glyph #Research