🔵 عنوان مقاله
Intel Releases New LLM Scaler Betas For GenAI On Battlemage GPUs
🟢 خلاصه مقاله:
اینتل با هدف قدرتمندتر کردن GPUهای خود برای بارهای کاری GenAI، پس از انتشار LLM-Scaler 1.0 در قالب Project Battlematrix برای اجرای روان LLMها روی کارت‌های Arc (Pro) B-Series، اکنون دو نسخه بتای جدید از LLM Scaler را معرفی کرده است. این نسخه‌های بتا برای بهبود عملکرد و پایداری روی GPUهای Battlemage عرضه شده‌اند و با بهینه‌سازی هسته‌ها و زمان‌بندی، کاهش تأخیر و بهبود بهره‌وری حافظه، اجرای مدل‌های بزرگ را روی سخت‌افزارهای کلاینت و ورک‌استیشن آسان‌تر می‌کنند. همچنین سازگاری با معماری‌ها و مسیرهای کوانت‌سازی متنوع‌تر گسترش یافته تا مدل‌های بیشتری در محدودیت حافظه اجرا شوند. تمرکز اینتل بر ساده‌سازی راه‌اندازی، ارائه پیکربندی‌های مرجع و فراهم کردن مسیر قابل پیش‌بینی برای مقیاس‌دهی از نمونه‌های کوچک تا کاربردهای جدی است. اگرچه این انتشارها در مرحله بتا هستند، اما نشان می‌دهند اینتل قصد دارد Battlemage را به سکویی توانمند برای استنتاج GenAI تبدیل کند و دسترسی به AI پرکاربرد را روی سخت‌افزار گرافیکی خود گسترش دهد.
#Intel #Battlemage #LLMScaler #GenAI #Arc #ProjectBattlematrix #GPU #AI
🟣لینک مقاله:
https://www.phoronix.com/news/LLM-Scaler-Betas-EO-Q3
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
Intel Releases New LLM Scaler Betas For GenAI On Battlemage GPUs
🟢 خلاصه مقاله:
اینتل با هدف قدرتمندتر کردن GPUهای خود برای بارهای کاری GenAI، پس از انتشار LLM-Scaler 1.0 در قالب Project Battlematrix برای اجرای روان LLMها روی کارت‌های Arc (Pro) B-Series، اکنون دو نسخه بتای جدید از LLM Scaler را معرفی کرده است. این نسخه‌های بتا برای بهبود عملکرد و پایداری روی GPUهای Battlemage عرضه شده‌اند و با بهینه‌سازی هسته‌ها و زمان‌بندی، کاهش تأخیر و بهبود بهره‌وری حافظه، اجرای مدل‌های بزرگ را روی سخت‌افزارهای کلاینت و ورک‌استیشن آسان‌تر می‌کنند. همچنین سازگاری با معماری‌ها و مسیرهای کوانت‌سازی متنوع‌تر گسترش یافته تا مدل‌های بیشتری در محدودیت حافظه اجرا شوند. تمرکز اینتل بر ساده‌سازی راه‌اندازی، ارائه پیکربندی‌های مرجع و فراهم کردن مسیر قابل پیش‌بینی برای مقیاس‌دهی از نمونه‌های کوچک تا کاربردهای جدی است. اگرچه این انتشارها در مرحله بتا هستند، اما نشان می‌دهند اینتل قصد دارد Battlemage را به سکویی توانمند برای استنتاج GenAI تبدیل کند و دسترسی به AI پرکاربرد را روی سخت‌افزار گرافیکی خود گسترش دهد.
#Intel #Battlemage #LLMScaler #GenAI #Arc #ProjectBattlematrix #GPU #AI
🟣لینک مقاله:
https://www.phoronix.com/news/LLM-Scaler-Betas-EO-Q3
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
Phoronix
Intel Releases New LLM Scaler Betas For GenAI On Battlemage GPUs
Back in August Intel released LLM-Scaler 1.0 as part of Project Battlematrix for help getting generative AI 'GenAI' workloads running on Arc (Pro) B-Series graphics cards
❤1
🔵 عنوان مقاله
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
🟢 خلاصه مقاله:
نسخه 0.11.9 از ollama با بهینه‌سازی‌های مؤثر برای CPU و GPU منتشر شده و سرعت اجرای محلی مدل‌های زبانی را در طیف گسترده‌ای از سیستم‌ها افزایش می‌دهد. نتیجه این تغییرات، راه‌اندازی سریع‌تر مدل‌ها، تولید توکن بیشتر در ثانیه و کاهش چشمگیر تأخیر است؛ چه روی سیستم‌های فقط-CPU و چه روی سیستم‌های مجهز به GPU. این ارتقا بدون نیاز به تغییر در کد یا گردش‌کار فعلی اعمال می‌شود و تجربه‌ای روان‌تر برای چت تعاملی، پردازش دسته‌ای و نمونه‌سازی سریع فراهم می‌کند. به طور خلاصه، 0.11.9 گامی دیگر در راستای بهبود کارایی و قابل‌حمل بودن ollama است و به‌روزرسانی آن برای کاربران توصیه می‌شود.
#Ollama #LLM #AI #GPU #CPU #PerformanceOptimization #OpenSource #Inference
🟣لینک مقاله:
https://www.phoronix.com/news/ollama-0.11.9-More-Performance
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
🟢 خلاصه مقاله:
نسخه 0.11.9 از ollama با بهینه‌سازی‌های مؤثر برای CPU و GPU منتشر شده و سرعت اجرای محلی مدل‌های زبانی را در طیف گسترده‌ای از سیستم‌ها افزایش می‌دهد. نتیجه این تغییرات، راه‌اندازی سریع‌تر مدل‌ها، تولید توکن بیشتر در ثانیه و کاهش چشمگیر تأخیر است؛ چه روی سیستم‌های فقط-CPU و چه روی سیستم‌های مجهز به GPU. این ارتقا بدون نیاز به تغییر در کد یا گردش‌کار فعلی اعمال می‌شود و تجربه‌ای روان‌تر برای چت تعاملی، پردازش دسته‌ای و نمونه‌سازی سریع فراهم می‌کند. به طور خلاصه، 0.11.9 گامی دیگر در راستای بهبود کارایی و قابل‌حمل بودن ollama است و به‌روزرسانی آن برای کاربران توصیه می‌شود.
#Ollama #LLM #AI #GPU #CPU #PerformanceOptimization #OpenSource #Inference
🟣لینک مقاله:
https://www.phoronix.com/news/ollama-0.11.9-More-Performance
➖➖➖➖➖➖➖➖
👑 @Linux_Labdon
Phoronix
ollama 0.11.9 Introducing A Nice CPU/GPU Performance Optimization
The ollama open-source software that makes it easy to run AI large language models (LLMs) across different operating systems, hardware, and models is about to enjoy a nice speed boost.