MLOps — дитя DevOps и ML
📌 Подробнее: https://habr.com/ru/companies/ruvds/articles/990814/
MemOps🤨
Один ML-проект в проде вам или два другому? Внедрение машинного обучения в производственную среду остаётся одной из главных проблем индустрии. По статистике, 80% ML-проектов никогда не доходят до продакшена. Однако хитрые опсы и тут решили выделиться, и в результате появился MLOps — методология, которая поможет вам сократить путь от эксперимента до деплоя с месяцев до дней. В этой статье мы пройдёмся по верхам MLOps и посмотрим на фундаментальные принципы и конкретные инструменты.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
MLOps — дитя DevOps и ML
literally me Один ML-проект в проде вам или два другому? Внедрение машинного обучения в производственную среду остаётся одной из главных проблем индустрии. По статистике, 80% ML-проектов никогда не...
👍4
Замечали, что нейросети стали слишком правильными? 🤡 Пытаешься скормить им кусок кода для поиска уязвимостей или фаззинга, а ChatGPT выдает заглушку: «Извините, это инструмент кибербезопасности, я такое не анализирую».
Но свято место пусто не бывает. Ребята из хардового канала @coreinfra недавно поделились шикарным кейсом: пока OpenAI строит из себя моралиста, китайские модели (тот же DeepSeek или Kimi) без лишних вопросов жуют любые дампы и ищут баги.
@coreinfra — это вообще редкий зверь в Телеге. Канал ведут суровые
инфраструктурные инженеры (экс-техлиды ВКонтакте). Никакой воды и курсов войти в ИТ. Только хардкор:
🔹 Разбор математических багов в оптимизаторах PHP и Lua (да, логарифмы там работают совершенно внезапно)
🔹 Глубокие бенчмарки баз данных
🔹 Собственный AI-хаб без цензуры для тестов кода
Рекомендую подписаться: @coreinfra
#реклама
О рекламодателе
Но свято место пусто не бывает. Ребята из хардового канала @coreinfra недавно поделились шикарным кейсом: пока OpenAI строит из себя моралиста, китайские модели (тот же DeepSeek или Kimi) без лишних вопросов жуют любые дампы и ищут баги.
@coreinfra — это вообще редкий зверь в Телеге. Канал ведут суровые
инфраструктурные инженеры (экс-техлиды ВКонтакте). Никакой воды и курсов войти в ИТ. Только хардкор:
🔹 Разбор математических багов в оптимизаторах PHP и Lua (да, логарифмы там работают совершенно внезапно)
🔹 Глубокие бенчмарки баз данных
🔹 Собственный AI-хаб без цензуры для тестов кода
Рекомендую подписаться: @coreinfra
#реклама
О рекламодателе
❤1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁18
K8E — это форк проекта K3s, предназначенный для локального тестирования.
Он не требует root-доступа и не использует systemd.
Также вы можете легко собрать и запустить его без сетевого подключения (air-gap режим).
Основные особенности:
- Без root-доступа
- Без systemd
- Один бинарник
- Простой запуск кластера:
- Не требует внешней сети
- Поддерживает полностью автономную сборку
Если вы когда-либо хотели поднять Kubernetes-кластер за пару секунд и без привилегий — этот инструмент идеально подойдёт для тестов и локальной разработки.
📌 Подробнее: https://github.com/xiaods/k8e
MemOps🤨
Он не требует root-доступа и не использует systemd.
Также вы можете легко собрать и запустить его без сетевого подключения (air-gap режим).
Основные особенности:
- Без root-доступа
- Без systemd
- Один бинарник
- Простой запуск кластера:
k8e server &- Не требует внешней сети
- Поддерживает полностью автономную сборку
Если вы когда-либо хотели поднять Kubernetes-кластер за пару секунд и без привилегий — этот инструмент идеально подойдёт для тестов и локальной разработки.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - xiaods/k8e: k8e.sh - OpenSource Agentic AI Sandbox Matrix
k8e.sh - OpenSource Agentic AI Sandbox Matrix . Contribute to xiaods/k8e development by creating an account on GitHub.
😁5👍1
Большой гайд про диски
📌 Подробнее: https://arthurchiao.art/blog/practical-storage-hierarchy/
MemOps🤨
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
ArthurChiao's Blog
Practical Storage Hierarchy and Performance: From HDDs to On-chip Caches(2024)
This post summarizes bandwidths for local storage media, networking infra, as well as remote storage systems. Readers may find this helpful when identifying bottlenecks in IO-intensive applications (e.g. AI training and LLM inference).
👍2❤1🔥1
Temporary files in Linux - статья, описывающая работу со временными файлами в Linux.
Автор рассматривает и работу в tmpfs, и обработку временных файлов через флаг O_TMPFILE на файловой системе.
📌 Подробнее: https://blogs.oracle.com/linux/temporary-files-in-linux
MemOps🤨
Автор рассматривает и работу в tmpfs, и обработку временных файлов через флаг O_TMPFILE на файловой системе.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Oracle
Temporary Files in Linux
An explanation of how to create and use truly temporary files on Linux.
❤1
В IzzyLab мы подобрали для тебя более 400 заданий по разным темам и уровням сложности.
Теория забывается за неделю. Практика - остаётся.
И да, это БЕСПЛАТНО.
Сохраняй в закладки - https://izzylab.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2🔥1
Как мы управляем инфраструктурой для 80 млн пользователей с командой из 5 человек
Часть 1 — Введение в инфраструктуру Yubo: Обзор и философия: https://medium.com/yubo-tech/how-we-manage-a-80m-users-infrastructure-with-a-5-person-team-part-1-introduction-to-yubos-d452103e6f0d
Часть 2 — Структура нашей команды и роли: Инженеры данных, DevOps и безопасность: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-2-our-team-structure-and-ce73b8d5bba4
Часть 3: Инженерия данных в масштабе и самообслуживание баз данных: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-3-data-engineering-at-scale-572d863598b0
Часть 4: Автоматизация в масштабе: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-4-automation-at-scale-944d86d5fd7f
Часть 5: Облачный нативный MLOps: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-5-cloud-native-mlops-332232f93aeb
MemOps🤨
Часть 1 — Введение в инфраструктуру Yubo: Обзор и философия: https://medium.com/yubo-tech/how-we-manage-a-80m-users-infrastructure-with-a-5-person-team-part-1-introduction-to-yubos-d452103e6f0d
Часть 2 — Структура нашей команды и роли: Инженеры данных, DevOps и безопасность: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-2-our-team-structure-and-ce73b8d5bba4
Часть 3: Инженерия данных в масштабе и самообслуживание баз данных: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-3-data-engineering-at-scale-572d863598b0
Часть 4: Автоматизация в масштабе: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-4-automation-at-scale-944d86d5fd7f
Часть 5: Облачный нативный MLOps: https://medium.com/yubo-tech/how-we-manage-an-80m-user-infrastructure-with-a-5-person-team-part-5-cloud-native-mlops-332232f93aeb
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Medium
How We Manage a 80M users Infrastructure with a 5-Person Team: Part 1 — Introduction to Yubo’s Infrastructure : Overview and Philosophy
Welcome to the first post in a series where we’ll share how our small team manages to run an infrastructure that serves 80 million users…
Создайте свой собственный управляемый сервис Kubernetes на Proxmox с помощью CAPI
📌 Подробнее: https://itnext.io/build-your-own-managed-kubernetes-service-on-proxmox-with-capi-8d9786644818
MemOps🤨
Cluster API (CAPI) — это проект с открытым исходным кодом в экосистеме Kubernetes. Его цель — применить декларативные API и контроллеры в стиле Kubernetes к задачам инициализации, настройки, обновления и эксплуатации целых кластеров Kubernetes, рассматривая сами кластеры как первоклассные ресурсы Kubernetes, а не как внешнюю инфраструктуру, развертываемую вручную.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Medium
Build your own Managed Kubernetes Service on Proxmox with CAPI
Build your own KaaS platform on Proxmox with Cluster API.
👍2
Migrate Datadog telemetry with the OpenTelemetry Collector
Если вы используете коммерческую APM (Dynatrace, Datadog, Appdynamics, Ключ Астром и пр.), она, скорее всего, совместима с OTel. А раз совместима, то и лить данные можно при помощи инструментов OTel. А раз вы уже используете инструменты OTel, то почему б не присмотреться к OTel-совместимой платформе ClickStack?
Да, миграция может быть непростым проектом, да, новая платформа наблюдаемости может оказаться не такой функциональной. Но можно хотя бы начать думать в эту сторону.
📌 Подробнее: https://clickhouse.com/blog/datadog-receiver-opentelemetry-collector
MemOps🤨
Если вы используете коммерческую APM (Dynatrace, Datadog, Appdynamics, Ключ Астром и пр.), она, скорее всего, совместима с OTel. А раз совместима, то и лить данные можно при помощи инструментов OTel. А раз вы уже используете инструменты OTel, то почему б не присмотреться к OTel-совместимой платформе ClickStack?
Да, миграция может быть непростым проектом, да, новая платформа наблюдаемости может оказаться не такой функциональной. Но можно хотя бы начать думать в эту сторону.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🤯1😭1
Docker Model Runner (DMR) упрощает управление, запуск и развертывание моделей ИИ с помощью Docker.
Разработанный для разработчиков, Docker Model Runner оптимизирует процесс загрузки, запуска и обслуживания больших языковых моделей (LLM) и других моделей ИИ непосредственно из Docker Hub или любого реестра, совместимого с OCI.
Работает и в Docker Desktop для Window или MacOS, для нативного Linux - устанавливается в виде Docker plugin
📌 Подробнее: https://github.com/docker/model-runner
MemOps🤨
Разработанный для разработчиков, Docker Model Runner оптимизирует процесс загрузки, запуска и обслуживания больших языковых моделей (LLM) и других моделей ИИ непосредственно из Docker Hub или любого реестра, совместимого с OCI.
Работает и в Docker Desktop для Window или MacOS, для нативного Linux - устанавливается в виде Docker plugin
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - docker/model-runner: Docker Model Runner
Docker Model Runner. Contribute to docker/model-runner development by creating an account on GitHub.
❤1