MemOps 😃

Масштабирование развертываний Kubernetes на несколько регионов: эталонная архитектура GitOps

Эта статья описывает архитектуру, которую я бы построил, чтобы перейти от 2 до 25 регионов без страха: модель, в которой GitOps является приоритетом, где каждый регион представляет собой независимый, самовосстанавливающийся контур управления, развертывания являются декларативными коммитами, а откат — это git revert, ограниченный ровно одним регионом, — полностью изолированный от всех остальных.

📌 Подробнее: https://medium.com/@vtulasinadh/scaling-kubernetes-deployments-to-multiple-regions-a-gitops-reference-architecture-ad18a55bdaac

MemOps🤨

MemOps 😃

AI агенты в Kubernetes требуют не только изоляции, но и контроля над действиями. Обычный контейнер не гарантирует достаточной защиты. Агент может работать с секретами, обращаться к сети и выполнять недоверенный код.

В статье Isolation. Security. Scale. разбирают связку kagent и Agent Substrate для безопасного запуска агентов. Изоляция строится на двух уровнях – gVisor перехватывает системные вызовы, а microVM обеспечивает дополнительную границу на уровне виртуализации.

Отдельный акцент авторы делают на масштабировании и мультитенантности. Агенты запускаются на время активной сессии, а после её завершения освобождают ресурсы. Такой подход позволяет приблизить запуск AI агентов в Kubernetes к production-ready модели, где изоляция, политики безопасности и управление жизненным циклом работают вместе.

📌 Подробнее: https://www.cncf.io/blog/2026/10/26/isolation-security-scale/

MemOps🤨

MemOps 😃

🚨 Как один из крупнейших хостеров Рунета отстрелил себе сеть (и заодно DNS). Тотальный блэкаут Beget.

Утро понедельника для тысяч бизнесов и эникеев по всей стране началось с массового алёрта. Beget, который годами славился топовым аптаймом и ламповой поддержкой, совершил жесткое, неконтролируемое погружение на дно.

Около 2-3 ночи (МСК) у провайдера начинает сыпаться сеть. Сначала деградируют базы данных MySQL, затем отваливается панель управления, а к 8 утра легло абсолютно ВСЁ. Виртуальный хостинг, VPS, почта, панель управления, биллинг и DNS-серверы.

Саппорт открестился от хацкеров, вирусов, кинетических прилетов по ЦОДу и происков РКН:

Проблема носит комплексный характер и затрагивает все уровни архитектуры. Инженеры выполняют ручную настройку инфраструктуры непосредственно в дата-центрах.

Вероятнее всего это суицид SDN или фатальная ошибка маршрутизации. Кто-то глубокой ночью решил накатить небольшой патч 🎩 на автоматизацию SDN или обновить конфигурацию BGP на core-роутерах. В итоге скрипт отработал так хорошо, что маршрутизаторы отрезали сами себя и всю сеть от внешнего мира.
Удаленный доступ отвалился. Единственный способ всё починить - физически ехать в ЦОД, брать монитор + клаву + тележку, втыкаться в стойки руками и откатывать конфиги терминал за терминалом. Отсюда и отсутствие таймингов на восстановление.

Куча контор, которые держали сами сайты на сторонних дедиках в Европе или Selectel, сегодня лежат. Потому как домены они делегировали на NS-сервера Бегета. ДНС умер - маршрутизация до живых серверов остановилась ⚰️

Также мелькает инфа, что параллельно лихорадит Честный Знак. Совпадение? Когда падает инфра такого масштаба, каскадный эффект и перестроение маршрутов могут положить соседние узлы обмена трафиком.

Инженерам Beget желаю запаса кофэ, валерьянки и прямых рук 🤙

Типичный 🥸 Сисадмин

Choosing Between ClickStack and Grafana for ClickHouse Observability

Кажется, в observability снова выбор без выбора: Grafana или ClickStack?

Статья разбирает вопрос выбора на примере ClickHouse. Если ClickHouse — центральное хранилище телеметрии, а инженеры чаще расследуют инциденты, чем смотрят на заранее созданные графики, авторы предлагают смотреть в сторону ClickStack: поиск, корреляция логов, метрик и трейсов, session replay и отдельный акцент на AI/SRE-агентов через MCP.

Grafana остаётся сильнее там, где инфраструктура неоднородная: Prometheus, ClickHouse и ещё десяток источников, которые нужно собрать на одном дашборде, добавить алертинг и не заставлять команду менять привычные процессы.

Так как статья опубликована в блоге Clickhouse, практичный вывод напрашивается сам собой: «А зачем выбирать?» Grafana можно оставить для дашбордов и мониторинга, а ClickStack использовать для глубоких расследований по данным ClickHouse. Причём данные и ingestion pipeline дублировать не придётся.

📌 Подробнее: https://clickhouse.com/blog/choosing-between-clickstack-and-grafana-for-clickhouse-observability

MemOps🤨

MemOps 😃

Как я за 4 дня пасхальных каникул создал Kubernetes Rightsizer и сократил затраты на k8s на 36%

Стало совершенно ясно, что единственный способ получить реальную экономию — это автоматически перенастроить размеры всех ресурсов сразу, кластер за кластером.

📌 Подробнее: https://medium.com/@mcpunzo/how-i-built-a-kubernetes-rightsizer-in-4-days-during-easter-vacation-and-cut-k8s-costs-by-36-2c98c99b1956

MemOps🤨

MemOps 😃

Как мы построили наш конвейер развёртывания: GitOps, ArgoCD и Kubernetes в Dodo Payments

Мы — Dodo Payments, компания по инфраструктуре платежей и биллинга. Мы обрабатываем реальные деньги для бизнеса в нескольких странах. Это означает, что соответствие стандарту PCI DSS не является опциональным — оно жизненно необходимо. А PCI требует чего-то, чего у нас не было: полной, аудируемой истории всех изменений в нашей производственной среде.

📌 Подробнее: https://dodopayments.com/engineering/deployment-pipeline-gitops-argocd-kubernetes

MemOps🤨

MemOps 😃

Grafana 13.3. Главные изменения:

— Переменные между дашбордами. Переменную окружения, региона или кластера теперь можно определить один раз и использовать на нескольких дашбордах. Поддерживаются глобальная область и область папки — больше не придется вручную синхронизировать одинаковые настройки.

— Grafana Notebooks. Запросы, панели, выводы Grafana Assistant и собственные комментарии можно собрать в одном редактируемом документе.

— Обновленный интерфейс. Grafana получила новые темную и светлую темы, переработанную типографику, более мягкие границы, новые цвета и унифицированные компоненты. При этом навигация и привычные рабочие процессы не поменялись, а плагины на стандартных компонентах автоматически подхватят новый стиль.

— Предварительный план дашборда от Grafana Assistant. Перед созданием дашборда помощник может показать его структуру: панели, строки, вкладки, типы визуализаций и переменные. План можно уточнить, посмотреть в режиме предварительного просмотра и только потом применить.

— Отмена изменений Assistant. Если результат редактирования дашборда не понравился, теперь можно отменить весь последний набор изменений одним действием.

— Общие переменные, Notebooks и новый дизайн пока доступны в режиме Public Preview. В self-managed Grafana их необходимо активировать через feature toggles. В релиз также вошли дополнительные изменения визуализаций, Alerting и Git Sync.

📌 Подробнее: https://grafana.com/blog/grafana-13-3-release-all-the-latest-features/

MemOps🤨

MemOps 😃

Мы доказали, что многокластерный Kafka работает на Kubernetes… Вот всё, что мы узнали

Мы создали рабочий прототип Apache Kafka, распределённого по трём независимым кластерам Kubernetes с использованием Strimzi, Submariner и Cilium, обеспечив переключение без простоя в случае полного отказа одного из кластеров.

📌 Подробнее: https://aswin6303.medium.com/we-proved-multi-cluster-kafka-works-on-kubernetes-heres-everything-we-learned-853dd5f1c03c

MemOps🤨

MemOps 😃