Forwarded from Software Engineer Labdon
Linkedin
Soheib Kiani on LinkedIn: #webinarfarsi #scalability
لیست 11 تایی از برترین مقالات Spotify, Netflix و . . . درخصوص Scalability
دیتاها و مواردی که بهش اشاره شده جزو بهترین ها هستش
Containerization at Pinterest (کانتینر کردن تو پینترست)
https://lnkd.in/de6jtzfe
The Evolution of Container Usage at Netflix…
دیتاها و مواردی که بهش اشاره شده جزو بهترین ها هستش
Containerization at Pinterest (کانتینر کردن تو پینترست)
https://lnkd.in/de6jtzfe
The Evolution of Container Usage at Netflix…
👍1
🔵 عنوان مقاله
Orchestrating thousands of speedtests, using Kubernetes
🟢 خلاصه مقاله:
اجرای هزاران تست سرعت در مقیاس بالا یک مسئله هماهنگی و مقیاس‌پذیری است. با کانتینری‌کردن رانرها و اجرای آن‌ها به‌صورت Jobs/CronJobs در Kubernetes می‌توان تعداد زیادی Pod را موازی اجرا کرد، منابع را با requests/limits کنترل نمود و با برچسب‌گذاری، affinity و taints/tolerations آن‌ها را در نودها و ریجن‌های مناسب جای‌گذاری کرد. HPA و autoscaling کلاستر امکان انفجار مقیاس و جمع‌شدن تا صفر را می‌دهند و با زمان‌بندی پله‌ای، پین‌کردن CPU و policyهای شبکه، خطای اندازه‌گیری کاهش می‌یابد. جمع‌آوری داده از اجرای تست‌ها از مسیر صف/ذخیره‌سازی شی‌گرا یا پایگاه سری‌زمان مستقل می‌شود و یک سرویس aggregator اعتبارسنجی و خلاصه‌سازی را انجام می‌دهد. مشاهده‌پذیری با Prometheus و داشبوردهای Grafana خط سیر اجرا، نرخ خطا و توزیع تاخیرها را نشان می‌دهد؛ همچنین با backoff، idempotency، rate limiting و مدیریت secrets پایداری افزایش می‌یابد و همگام‌سازی زمان، مقایسه‌پذیری را بهبود می‌دهد. برای هزینه و تاب‌آوری، از batch window، priority class، نودهای spot/preemptible، PDB و چندریجنی/چندابری استفاده می‌شود. نتیجه اینکه با تکیه بر الگوهای بومی Kubernetes مانند Jobs، CronJobs، autoscaling و صف‌ها، ارکستریشن هزاران تست سرعت قابل اتکا، تکرارپذیر و مقرون‌به‌صرفه می‌شود.
#Kubernetes #SpeedTest #LoadTesting #NetworkPerformance #Scalability #DevOps #CloudNative #Observability
🟣لینک مقاله:
https://ku.bz/m-yzWmZCh
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Orchestrating thousands of speedtests, using Kubernetes
🟢 خلاصه مقاله:
اجرای هزاران تست سرعت در مقیاس بالا یک مسئله هماهنگی و مقیاس‌پذیری است. با کانتینری‌کردن رانرها و اجرای آن‌ها به‌صورت Jobs/CronJobs در Kubernetes می‌توان تعداد زیادی Pod را موازی اجرا کرد، منابع را با requests/limits کنترل نمود و با برچسب‌گذاری، affinity و taints/tolerations آن‌ها را در نودها و ریجن‌های مناسب جای‌گذاری کرد. HPA و autoscaling کلاستر امکان انفجار مقیاس و جمع‌شدن تا صفر را می‌دهند و با زمان‌بندی پله‌ای، پین‌کردن CPU و policyهای شبکه، خطای اندازه‌گیری کاهش می‌یابد. جمع‌آوری داده از اجرای تست‌ها از مسیر صف/ذخیره‌سازی شی‌گرا یا پایگاه سری‌زمان مستقل می‌شود و یک سرویس aggregator اعتبارسنجی و خلاصه‌سازی را انجام می‌دهد. مشاهده‌پذیری با Prometheus و داشبوردهای Grafana خط سیر اجرا، نرخ خطا و توزیع تاخیرها را نشان می‌دهد؛ همچنین با backoff، idempotency، rate limiting و مدیریت secrets پایداری افزایش می‌یابد و همگام‌سازی زمان، مقایسه‌پذیری را بهبود می‌دهد. برای هزینه و تاب‌آوری، از batch window، priority class، نودهای spot/preemptible، PDB و چندریجنی/چندابری استفاده می‌شود. نتیجه اینکه با تکیه بر الگوهای بومی Kubernetes مانند Jobs، CronJobs، autoscaling و صف‌ها، ارکستریشن هزاران تست سرعت قابل اتکا، تکرارپذیر و مقرون‌به‌صرفه می‌شود.
#Kubernetes #SpeedTest #LoadTesting #NetworkPerformance #Scalability #DevOps #CloudNative #Observability
🟣لینک مقاله:
https://ku.bz/m-yzWmZCh
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Orchestrating thousands of Speedtests, using Kubernetes
Orchestrating thousands of Speedtests, using Kubernetes To monitor the network usability and speed of our store systems over time, we addressed the challenge by implementing a distributed speed test …
🔵 عنوان مقاله
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
🟢 خلاصه مقاله:
**
این مطالعهٔ موردی نشان می‌دهد چگونه می‌توان یک خط لولهٔ ML مقیاس‌پذیر روی Azure ساخت که با استفاده از Kubernetes و KEDA ورودی‌ها را به‌صورت رویدادمحور و تا سقف 500 پاد تولید می‌کند و سپس مدل‌ها را از طریق Azure ML آموزش، ثبت و استقرار می‌دهد. در این معماری، KEDA با پایش صف‌ها یا استریم‌ها اندازهٔ خوشه را به‌طور خودکار بالا و پایین می‌برد، هر پاد بخشی از کار را پردازش می‌کند، و خروجی‌ها در ذخیره‌سازی پایدار ذخیره می‌شوند تا Azure ML آن‌ها را برای آموزش و ارزیابی مصرف کند. استقرار مدل‌ها روی online/batch endpoints (مدیریت‌شده یا AKS) انجام می‌شود و کل فرایند با CI/CD، مانیتورینگ در Azure Monitor/Application Insights، کنترل هزینه و ملاحظات امنیتی (managed identity و شبکه خصوصی) پشتیبانی می‌گردد. نتیجه، الگویی مطمئن برای آماده‌سازی ورودی با توان انفجاری 500 پاد و MLOps استاندارد روی Azure است.
#Azure #Kubernetes #KEDA #AzureML #AKS #MLOps #Scalability #DataEngineering
🟣لینک مقاله:
https://ku.bz/0lYz58fTX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
🟢 خلاصه مقاله:
**
این مطالعهٔ موردی نشان می‌دهد چگونه می‌توان یک خط لولهٔ ML مقیاس‌پذیر روی Azure ساخت که با استفاده از Kubernetes و KEDA ورودی‌ها را به‌صورت رویدادمحور و تا سقف 500 پاد تولید می‌کند و سپس مدل‌ها را از طریق Azure ML آموزش، ثبت و استقرار می‌دهد. در این معماری، KEDA با پایش صف‌ها یا استریم‌ها اندازهٔ خوشه را به‌طور خودکار بالا و پایین می‌برد، هر پاد بخشی از کار را پردازش می‌کند، و خروجی‌ها در ذخیره‌سازی پایدار ذخیره می‌شوند تا Azure ML آن‌ها را برای آموزش و ارزیابی مصرف کند. استقرار مدل‌ها روی online/batch endpoints (مدیریت‌شده یا AKS) انجام می‌شود و کل فرایند با CI/CD، مانیتورینگ در Azure Monitor/Application Insights، کنترل هزینه و ملاحظات امنیتی (managed identity و شبکه خصوصی) پشتیبانی می‌گردد. نتیجه، الگویی مطمئن برای آماده‌سازی ورودی با توان انفجاری 500 پاد و MLOps استاندارد روی Azure است.
#Azure #Kubernetes #KEDA #AzureML #AKS #MLOps #Scalability #DataEngineering
🟣لینک مقاله:
https://ku.bz/0lYz58fTX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Scalable ML with Azure, Kubernetes and KEDA: Generating Inputs with 500 Pods
A real-world look at building a scalable ML system on Azure — from dynamic input generation to model inference using Kubernetes and…