🔵 عنوان مقاله
Perplexity's Open-Source Tool to Run Trillion-Parameter Models Without Costly Upgrades (4 minute read)

🟢 خلاصه مقاله:
Perplexity AI با معرفی ابزار متن‌باز TransferEngine امکان اجرای مدل‌های تریلیون‌پارامتری را روی سخت‌افزارهای متنوع و موجود فراهم کرده است. این سیستم با تکیه بر RDMA ارتباط GPU-to-GPU را در محیط‌های ترکیبی AWS و Nvidia بهینه می‌کند و با دستیابی به 400 Gbps روی ConnectX-7 و AWS EFA، نیاز به ارتقای گران‌قیمت را برطرف می‌سازد و وابستگی به یک فروشنده را کاهش می‌دهد. TransferEngine برای بارهای کاری LLM طراحی شده و مسیریابی Mixture-of-Experts را کارآمد می‌کند؛ در نتیجه اجرای مدل‌هایی مانند DeepSeek V3 و Kimi K2 با تأخیر کم و مقیاس‌پذیر ممکن می‌شود. متن‌باز بودن آن نیز ادغام، توسعه و استفاده در پشته‌های موجود را ساده می‌کند.

#OpenSource #LLM #RDMA #GPU #AWS #Nvidia #MixtureOfExperts #AIInfrastructure

🟣لینک مقاله:
https://www.infoworld.com/article/4085830/perplexitys-open-source-tool-to-run-trillion-parameter-models-without-costly-upgrades-2.html?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy