DevOps-инструмент недели: HAMi

Обычно Kubernetes-кластер выделяет целый GPU под одну рабочую нагрузку.

В результате часть ресурсов GPU простаивает.

HAMi решает эту проблему.

Это опенсорс middleware для Kubernetes, которое позволяет распределять, изолировать и планировать GPU и другие AI-ускорители между Pod’ами без изменений в коде приложения.

Что умеет HAMi:

- Делит один GPU на несколько частей по объёму памяти, количеству ядер или числу устройств
- Задаёт жёсткие лимиты памяти и вычислительных ресурсов для каждой рабочей нагрузки, чтобы один Pod не мог занять ресурсы другого
- Оптимально распределяет задачи по GPU: уплотняет их для экономии ресурсов или разносит по разным устройствам, чтобы избежать снижения производительности
- Управляет NVIDIA GPU, NPU, DCU, MLU и другими типами ускорителей через единый механизм планирования
- Позволяет запускать мультитенантные задачи обучения, инференса и среды с ноутбуками в общем пуле GPU

GitHub: https://github.com/Project-HAMi/HAMi

@sysadmin1

Мало кто знает, но именно такой Нолан задумывал «Одиссею».

@sysadmin1

Теперь Mac поддерживает Windows

@sysadmin1

🐧 С Днём системного администратора!

Желаем, чтобы:

CPU: 2%
RAM: свободна
Disk: 80% free
Users: спокойны
Boss: доволен
Uptime: 999 days

А единственная ошибка, которую вы увидите сегодня, будет:

404: Problems Not Found

@sysadmin1

Идеальная иллюстрация 😁

@sysadmin1