🚀 علیبابا با سیستم جدید Aegaeon مصرف GPU را تا ۸۲٪ کاهش داد 🤯
شرکت Alibaba از سامانهی انقلابی خود به نام Aegaeon رونمایی کرد — سیستمی برای اشتراکگذاری هوشمند GPU که بهرهوری در سرویسدهی مدلهای زبانی بزرگ (LLM) را تا ۸ برابر افزایش میدهد! ⚙️
📊 نتایج حیرتانگیز:
🔻 ۸۲٪ کاهش مصرف GPUهای انویدیا
💡 در آزمایش بتای سهماهه در Alibaba Cloud:
از ۱٬۱۹۲ GPU به ۲۱۳ GPU برای پشتیبانی از چندین مدل تا ۷۲ میلیارد پارامتر
---
🔥 چطور کار میکند؟
در حالت عادی، بسیاری از GPUها در زمان سرویسدهی به مدلهای «سرد» (کماستفاده) بلااستفاده میمانند —
مثلاً ۱۷.۷٪ از GPUها فقط ۱.۳۵٪ درخواستها را انجام میدادند.
💡 علاوه براین Aegaeon این مشکل را با رویکردی جدید حل میکند:
یعنی GPUها میتوانند در حین تولید پاسخ (در سطح توکن) بین مدلها سوئیچ کنند،
بدون اینکه منتظر پایان پاسخ قبلی بمانند! ⚙️
---
⚡ نتیجه:
✳️هر GPU میتواند تا ۷ مدل را همزمان پشتیبانی کند (در سیستمهای دیگر: ۲ تا ۳ مدل)
✳️تأخیر هنگام سوئیچ بین مدلها تا ۹۷٪ کاهش یافته است
✳️مدلهای «داغ» (پُرکاربرد) در اولویت میمانند، مدلهای «سرد» فقط در لحظههای کوتاه منابع میگیرند
---
🧩 ویژه برای مرحله استنتاج (Inference):
همچنین، Aegaeon بر اساس ساختار تولید توکنی طراحی شده و با زمانبندی دقیق بار کاری (load scheduling) بهینه شده است.
در شرایط کمبود تراشه در چین، این سیستم یک پیشرفت استراتژیک محسوب میشود —
یعنی GPU کمتر، ترافیک بیشتر، هزینه پایینتر. 💰
---
✅ مزایا:
♻️کاهش چشمگیر هزینهی هر توکن
♻️افزایش بهرهوری سختافزار
♻️کاهش نیاز به خرید GPUهای جدید بدون افت عملکرد
🔗 منبع: South China Morning Post
#Alibaba #Aegaeon #AI #LLM #GPU #CloudComputing #Efficiency #Nvidia #GenerativeAI
شرکت Alibaba از سامانهی انقلابی خود به نام Aegaeon رونمایی کرد — سیستمی برای اشتراکگذاری هوشمند GPU که بهرهوری در سرویسدهی مدلهای زبانی بزرگ (LLM) را تا ۸ برابر افزایش میدهد! ⚙️
📊 نتایج حیرتانگیز:
🔻 ۸۲٪ کاهش مصرف GPUهای انویدیا
💡 در آزمایش بتای سهماهه در Alibaba Cloud:
از ۱٬۱۹۲ GPU به ۲۱۳ GPU برای پشتیبانی از چندین مدل تا ۷۲ میلیارد پارامتر
---
🔥 چطور کار میکند؟
در حالت عادی، بسیاری از GPUها در زمان سرویسدهی به مدلهای «سرد» (کماستفاده) بلااستفاده میمانند —
مثلاً ۱۷.۷٪ از GPUها فقط ۱.۳۵٪ درخواستها را انجام میدادند.
💡 علاوه براین Aegaeon این مشکل را با رویکردی جدید حل میکند:
یعنی GPUها میتوانند در حین تولید پاسخ (در سطح توکن) بین مدلها سوئیچ کنند،
بدون اینکه منتظر پایان پاسخ قبلی بمانند! ⚙️
---
⚡ نتیجه:
✳️هر GPU میتواند تا ۷ مدل را همزمان پشتیبانی کند (در سیستمهای دیگر: ۲ تا ۳ مدل)
✳️تأخیر هنگام سوئیچ بین مدلها تا ۹۷٪ کاهش یافته است
✳️مدلهای «داغ» (پُرکاربرد) در اولویت میمانند، مدلهای «سرد» فقط در لحظههای کوتاه منابع میگیرند
---
🧩 ویژه برای مرحله استنتاج (Inference):
همچنین، Aegaeon بر اساس ساختار تولید توکنی طراحی شده و با زمانبندی دقیق بار کاری (load scheduling) بهینه شده است.
در شرایط کمبود تراشه در چین، این سیستم یک پیشرفت استراتژیک محسوب میشود —
یعنی GPU کمتر، ترافیک بیشتر، هزینه پایینتر. 💰
---
✅ مزایا:
♻️کاهش چشمگیر هزینهی هر توکن
♻️افزایش بهرهوری سختافزار
♻️کاهش نیاز به خرید GPUهای جدید بدون افت عملکرد
🔗 منبع: South China Morning Post
#Alibaba #Aegaeon #AI #LLM #GPU #CloudComputing #Efficiency #Nvidia #GenerativeAI
👍4🔥1
🌟 گوگل میخواهد رقابت هوش مصنوعی را نه با سرعت، بلکه با کاهش هزینهٔ محاسبات ببرد.
در حالی که انویدیا GPUها را با حاشیه سود بالا به کلودها میفروشد و هزینه نهایی برای مشتریان بالا میرود، گوگل TPUها را تقریباً به قیمت تمامشده تولید و عرضه میکند.
نتیجه؟ کاهش شدید هزینهٔ هر توکن در پردازشهای هوش مصنوعی.
🔹 کلید ماجرا:
بزرگترین هزینه در AI، آموزش نیست—بلکه اینفرنس است؛ یعنی هزینهٔ تولید توکن پس از استقرار مدل.
وقتی مدل اجرا میشود، تقریباً تمام بودجه صرف توکنسازی میشود، نه آموزش.
🔹 مزیت گوگل
با یکپارچهسازی عمودی (طراحی چیپ → دیتاسنتر → شبکه → سرویسهای ابری)، گوگل میتواند هزینهٔ هر توکن را دائماً پایین بیاورد و همین کاهش را مستقیم به کاربران منتقل کند.
🔹 چرا این مهم است؟
اگر قیمت اهمیت بیشتری از سرعت پیدا کند، بسیاری از شرکتها TPU را به GPU ترجیح خواهند داد.
🔹 نقش انویدیا
انویدیا همچنان رهبر آموزش مدلهای بزرگ خواهد بود، اما ممکن است نتواند همین حاشیه سود بالا را حفظ کند—بهخصوص اگر حجم بزرگی از اینفرنس به TPU منتقل شود.
🔹 برتری دیگر گوگل
اکوسیستم عظیمی مثل Search، YouTube، Android و Workspace ظرفیت TPUها را بهطور کامل پر میکند و تقاضای پایدار تضمین میشود.
منبع:
https://x.com/KrisPatel99/status/1993259550544191645
@rss_ai_ir
#Google #TPU #Nvidia #AI #MachineLearning #Inference #CloudComputing #TechEconomics
در حالی که انویدیا GPUها را با حاشیه سود بالا به کلودها میفروشد و هزینه نهایی برای مشتریان بالا میرود، گوگل TPUها را تقریباً به قیمت تمامشده تولید و عرضه میکند.
نتیجه؟ کاهش شدید هزینهٔ هر توکن در پردازشهای هوش مصنوعی.
🔹 کلید ماجرا:
بزرگترین هزینه در AI، آموزش نیست—بلکه اینفرنس است؛ یعنی هزینهٔ تولید توکن پس از استقرار مدل.
وقتی مدل اجرا میشود، تقریباً تمام بودجه صرف توکنسازی میشود، نه آموزش.
🔹 مزیت گوگل
با یکپارچهسازی عمودی (طراحی چیپ → دیتاسنتر → شبکه → سرویسهای ابری)، گوگل میتواند هزینهٔ هر توکن را دائماً پایین بیاورد و همین کاهش را مستقیم به کاربران منتقل کند.
🔹 چرا این مهم است؟
اگر قیمت اهمیت بیشتری از سرعت پیدا کند، بسیاری از شرکتها TPU را به GPU ترجیح خواهند داد.
🔹 نقش انویدیا
انویدیا همچنان رهبر آموزش مدلهای بزرگ خواهد بود، اما ممکن است نتواند همین حاشیه سود بالا را حفظ کند—بهخصوص اگر حجم بزرگی از اینفرنس به TPU منتقل شود.
🔹 برتری دیگر گوگل
اکوسیستم عظیمی مثل Search، YouTube، Android و Workspace ظرفیت TPUها را بهطور کامل پر میکند و تقاضای پایدار تضمین میشود.
منبع:
https://x.com/KrisPatel99/status/1993259550544191645
@rss_ai_ir
#Google #TPU #Nvidia #AI #MachineLearning #Inference #CloudComputing #TechEconomics
👍1
🛰️ جف بزوس هم وارد رقابت «دیتاسنترهای فضایی» شد
گزارشها میگویند شرکت Blue Origin متعلق به جف بزوس، بیش از یک سال است که روی توسعهی دیتاسنترهای هوش مصنوعی در مدار زمین کار میکند؛ مسیری که پیشتر SpaceX و ایلان ماسک بهصورت جدی دربارهاش صحبت کرده بودند.
ایدهی اصلی چیست؟
• انتقال بخشی از زیرساخت محاسباتی به فضا
• دسترسی به انرژی خورشیدی تقریباً نامحدود
• کاهش محدودیتهای زمینی مثل زمین، برق و خنکسازی
• آمادهسازی زیرساخت برای نسل بعدی AI و محاسبات سنگین
اگر این مسیر عملی شود، رقابت آیندهی هوش مصنوعی فقط روی زمین نخواهد بود، بلکه مدار زمین پایین (LEO) هم به میدان نبرد تبدیل میشود.
@rss_ai_ir
#هوش_مصنوعی #دیتاسنتر #فضا #BlueOrigin #SpaceX #AI #CloudComputing 🚀
گزارشها میگویند شرکت Blue Origin متعلق به جف بزوس، بیش از یک سال است که روی توسعهی دیتاسنترهای هوش مصنوعی در مدار زمین کار میکند؛ مسیری که پیشتر SpaceX و ایلان ماسک بهصورت جدی دربارهاش صحبت کرده بودند.
ایدهی اصلی چیست؟
• انتقال بخشی از زیرساخت محاسباتی به فضا
• دسترسی به انرژی خورشیدی تقریباً نامحدود
• کاهش محدودیتهای زمینی مثل زمین، برق و خنکسازی
• آمادهسازی زیرساخت برای نسل بعدی AI و محاسبات سنگین
اگر این مسیر عملی شود، رقابت آیندهی هوش مصنوعی فقط روی زمین نخواهد بود، بلکه مدار زمین پایین (LEO) هم به میدان نبرد تبدیل میشود.
@rss_ai_ir
#هوش_مصنوعی #دیتاسنتر #فضا #BlueOrigin #SpaceX #AI #CloudComputing 🚀
🥰7👍6🔥6❤4😁4🎉4👏1
🚀 ایده دیتاسنترهای فضایی؛ نگاه آیندهنگرانه ایلان ماسک
🌌 ایلان ماسک میگوید دیتاسنترهای مداری میتوانند ظرف سه سال آینده از نمونههای زمینی مقرونبهصرفهتر شوند و بحث تازهای در زیرساخت هوش مصنوعی به راه بیندازند.
🔹 چرا فضا؟
⚡ محدودیت برق، آبِ خنکسازی و زمین در دیتاسنترهای زمینی
💧 حذف مصرف آب برای خنکسازی
🌡️ دفع مستقیم گرما به فضا و امکان چگالی سختافزاری بالاتر
🔹 اقتصاد و امکانپذیری
💸 تا ۴۰٪ هزینه انرژی دیتاسنترهای معمول صرف خنکسازی میشود
🚀 کاهش هزینه پرتاب با راکتهای قابلاستفادهمجدد SpaceX
⏳ بارهای کاری بدون نیاز به تأخیر بسیار کم میتوانند از ۲۰۲۶ به مدار منتقل شوند
🔹 حرکت صنعت و پیامدها
🏗️ شرکتهایی مانند StatCloud زیرساخت مداری مستقر کردهاند
🧠 گزارشها از بررسی گزینههای مشابه توسط Google خبر میدهند
📈 پیشگامان میتوانند مزیت رقابتی بزرگی بسازند و شکاف زیرساختی را افزایش دهند
✨ اگر این مسیر عملی شود، موج بعدی توان محاسباتی شاید واقعاً بالای سر ما باشد.
@rss_ai_ir
#AI #DataCenters #SpaceTech #ElonMusk #Infrastructure #CloudComputing
🌌 ایلان ماسک میگوید دیتاسنترهای مداری میتوانند ظرف سه سال آینده از نمونههای زمینی مقرونبهصرفهتر شوند و بحث تازهای در زیرساخت هوش مصنوعی به راه بیندازند.
🔹 چرا فضا؟
⚡ محدودیت برق، آبِ خنکسازی و زمین در دیتاسنترهای زمینی
💧 حذف مصرف آب برای خنکسازی
🌡️ دفع مستقیم گرما به فضا و امکان چگالی سختافزاری بالاتر
🔹 اقتصاد و امکانپذیری
💸 تا ۴۰٪ هزینه انرژی دیتاسنترهای معمول صرف خنکسازی میشود
🚀 کاهش هزینه پرتاب با راکتهای قابلاستفادهمجدد SpaceX
⏳ بارهای کاری بدون نیاز به تأخیر بسیار کم میتوانند از ۲۰۲۶ به مدار منتقل شوند
🔹 حرکت صنعت و پیامدها
🏗️ شرکتهایی مانند StatCloud زیرساخت مداری مستقر کردهاند
🧠 گزارشها از بررسی گزینههای مشابه توسط Google خبر میدهند
📈 پیشگامان میتوانند مزیت رقابتی بزرگی بسازند و شکاف زیرساختی را افزایش دهند
✨ اگر این مسیر عملی شود، موج بعدی توان محاسباتی شاید واقعاً بالای سر ما باشد.
@rss_ai_ir
#AI #DataCenters #SpaceTech #ElonMusk #Infrastructure #CloudComputing
🔥9😁9👍5❤4👏4🥰3🎉2