🔵 عنوان مقاله
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
🟢 خلاصه مقاله:
نسخه 0.11.9 از ollama با بهینه‌سازی‌های مؤثر برای CPU و GPU منتشر شده و سرعت اجرای محلی مدل‌های زبانی را در طیف گسترده‌ای از سیستم‌ها افزایش می‌دهد. نتیجه این تغییرات، راه‌اندازی سریع‌تر مدل‌ها، تولید توکن بیشتر در ثانیه و کاهش چشمگیر تأخیر است؛ چه روی سیستم‌های فقط-CPU و چه روی سیستم‌های مجهز به GPU. این ارتقا بدون نیاز به تغییر در کد یا گردش‌کار فعلی اعمال می‌شود و تجربه‌ای روان‌تر برای چت تعاملی، پردازش دسته‌ای و نمونه‌سازی سریع فراهم می‌کند. به طور خلاصه، 0.11.9 گامی دیگر در راستای بهبود کارایی و قابل‌حمل بودن ollama است و به‌روزرسانی آن برای کاربران توصیه می‌شود.
#Ollama #LLM #AI #GPU #CPU #PerformanceOptimization #OpenSource #Inference
🟣لینک مقاله:
https://www.phoronix.com/news/ollama-0.11.9-More-Performance
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
🟢 خلاصه مقاله:
نسخه 0.11.9 از ollama با بهینه‌سازی‌های مؤثر برای CPU و GPU منتشر شده و سرعت اجرای محلی مدل‌های زبانی را در طیف گسترده‌ای از سیستم‌ها افزایش می‌دهد. نتیجه این تغییرات، راه‌اندازی سریع‌تر مدل‌ها، تولید توکن بیشتر در ثانیه و کاهش چشمگیر تأخیر است؛ چه روی سیستم‌های فقط-CPU و چه روی سیستم‌های مجهز به GPU. این ارتقا بدون نیاز به تغییر در کد یا گردش‌کار فعلی اعمال می‌شود و تجربه‌ای روان‌تر برای چت تعاملی، پردازش دسته‌ای و نمونه‌سازی سریع فراهم می‌کند. به طور خلاصه، 0.11.9 گامی دیگر در راستای بهبود کارایی و قابل‌حمل بودن ollama است و به‌روزرسانی آن برای کاربران توصیه می‌شود.
#Ollama #LLM #AI #GPU #CPU #PerformanceOptimization #OpenSource #Inference
🟣لینک مقاله:
https://www.phoronix.com/news/ollama-0.11.9-More-Performance
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
Phoronix
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
The ollama open-source software that makes it easy to run AI large language models (LLMs) across different operating systems, hardware, and models is about to enjoy a nice speed boost.