🚀 NVIDIA ModelOpt —
ابزار متن‌باز برای بهینه‌سازی مدل‌های هوش مصنوعی در محیط تولید (Production) ⚙️

🔹 جعبه ابزار ModelOpt که بخشی از اکوسیستم TensorRT است، یک جعبه‌ابزار متن‌باز جدید از NVIDIA برای افزایش سرعت و کارایی مدل‌ها در مرحله استقرار واقعی است.

✨ ویژگی‌ها و قابلیت‌ها:

بهینه‌سازی سرتاسری (End-to-End) شامل:
🔸 Quantization
🔸 Pruning
🔸 Distillation
🔸 Speculative Decoding
🔸 Sparsity

پشتیبانی کامل از مدل‌های PyTorch, Hugging Face, ONNX

سازگار با فریم‌ورک‌های NeMo, Megatron-LM, HF Accelerate

قابلیت استقرار در SGLang, TensorRT-LLM, TensorRT, و vLLM


📦 مخزن رسمی GitHub:

👉 github.com/NVIDIA/TensorRT-Model-Optimizer

این ابزار به مهندسان یادگیری ماشین کمک می‌کند تا مدل‌های خود را بدون کاهش دقت، تا چندین برابر سریع‌تر در GPU مستقر کنند.

@rss_ai_ir
#NVIDIA #ModelOpt #TensorRT #AI #DeepLearning #هوش_مصنوعی #بهینه_سازی_مدل

⚡️مجموعه NVIDIA نسخه FP4 مدل DeepSeek V3.1 را روی HuggingFace منتشر کرد

@rss_ai_ir

انویدیا نسخه‌ی کوانت‌شده FP4 از مدل DeepSeek V3.1 را منتشر کرد — و این یعنی سرعت بالاتر، مصرف حافظه کمتر، و همچنان کیفیت بسیار خوب متن.

🔹 مزیت اصلی FP4:
کمترین سطح کوانتیزاسیون بدون افت جدی کیفیت،
به‌خصوص وقتی با TensorRT-LLM اجرا شود.

🔹 نتیجه؟
• حافظه کمتر 🟢
• سرعت بیشتر 🟢
• عملکرد تقریباً هم‌سطح نسخه کامل 🟢

Hugging Face:

https://huggingface.co/nvidia/DeepSeek-V3.1-NVFP4

#NVIDIA #DeepSeek #LLM #FP4 #TensorRT @rss_ai_ir