Forwarded from Типичный Сисадмин
Утро понедельника для тысяч бизнесов и эникеев по всей стране началось с массового алёрта. Beget, который годами славился топовым аптаймом и ламповой поддержкой, совершил жесткое, неконтролируемое погружение на дно.
Около 2-3 ночи (МСК) у провайдера начинает сыпаться сеть. Сначала деградируют базы данных MySQL, затем отваливается панель управления, а к 8 утра легло абсолютно ВСЁ. Виртуальный хостинг, VPS, почта, панель управления, биллинг и DNS-серверы.
Саппорт открестился от хацкеров, вирусов, кинетических прилетов по ЦОДу и происков РКН:
Проблема носит комплексный характер и затрагивает все уровни архитектуры. Инженеры выполняют ручную настройку инфраструктуры непосредственно в дата-центрах.
Вероятнее всего это суицид SDN или фатальная ошибка маршрутизации. Кто-то глубокой ночью решил накатить небольшой патч
Удаленный доступ отвалился. Единственный способ всё починить - физически ехать в ЦОД, брать монитор + клаву + тележку, втыкаться в стойки руками и откатывать конфиги терминал за терминалом. Отсюда и отсутствие таймингов на восстановление.
Куча контор, которые держали сами сайты на сторонних дедиках в Европе или Selectel, сегодня лежат. Потому как домены они делегировали на NS-сервера Бегета. ДНС умер - маршрутизация до живых серверов остановилась
Также мелькает инфа, что параллельно лихорадит Честный Знак. Совпадение? Когда падает инфра такого масштаба, каскадный эффект и перестроение маршрутов могут положить соседние узлы обмена трафиком.
Инженерам Beget желаю запаса кофэ, валерьянки и прямых рук
Типичный
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯11🫡9
Choosing Between ClickStack and Grafana for ClickHouse Observability
Кажется, в observability снова выбор без выбора: Grafana или ClickStack?
📌 Подробнее: https://clickhouse.com/blog/choosing-between-clickstack-and-grafana-for-clickhouse-observability
MemOps🤨
Кажется, в observability снова выбор без выбора: Grafana или ClickStack?
Статья разбирает вопрос выбора на примере ClickHouse. Если ClickHouse — центральное хранилище телеметрии, а инженеры чаще расследуют инциденты, чем смотрят на заранее созданные графики, авторы предлагают смотреть в сторону ClickStack: поиск, корреляция логов, метрик и трейсов, session replay и отдельный акцент на AI/SRE-агентов через MCP.
Grafana остаётся сильнее там, где инфраструктура неоднородная: Prometheus, ClickHouse и ещё десяток источников, которые нужно собрать на одном дашборде, добавить алертинг и не заставлять команду менять привычные процессы.
Так как статья опубликована в блоге Clickhouse, практичный вывод напрашивается сам собой: «А зачем выбирать?» Grafana можно оставить для дашбордов и мониторинга, а ClickStack использовать для глубоких расследований по данным ClickHouse. Причём данные и ingestion pipeline дублировать не придётся.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1
Как я за 4 дня пасхальных каникул создал Kubernetes Rightsizer и сократил затраты на k8s на 36%
📌 Подробнее: https://medium.com/@mcpunzo/how-i-built-a-kubernetes-rightsizer-in-4-days-during-easter-vacation-and-cut-k8s-costs-by-36-2c98c99b1956
MemOps🤨
Стало совершенно ясно, что единственный способ получить реальную экономию — это автоматически перенастроить размеры всех ресурсов сразу, кластер за кластером.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Medium
How I Built a Kubernetes Rightsizer in 4 Days During Easter Vacation — and Cut k8s Costs by 36%
The Problem Nobody Could Solve
👍2
Как мы построили наш конвейер развёртывания: GitOps, ArgoCD и Kubernetes в Dodo Payments
📌 Подробнее: https://dodopayments.com/engineering/deployment-pipeline-gitops-argocd-kubernetes
MemOps🤨
Мы — Dodo Payments, компания по инфраструктуре платежей и биллинга. Мы обрабатываем реальные деньги для бизнеса в нескольких странах. Это означает, что соответствие стандарту PCI DSS не является опциональным — оно жизненно необходимо. А PCI требует чего-то, чего у нас не было: полной, аудируемой истории всех изменений в нашей производственной среде.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Dodo Payments
How We Built Our Deployment Pipeline: GitOps, ArgoCD, and Kubernetes at Dodo Payments | Dodo Payments
It started with a question from our security compliance team: “Can you show me exactly what changed in production last Tuesday at 3 PM?”
❤5😭2
Grafana 13.3. Главные изменения:
📌 Подробнее: https://grafana.com/blog/grafana-13-3-release-all-the-latest-features/
MemOps🤨
— Переменные между дашбордами. Переменную окружения, региона или кластера теперь можно определить один раз и использовать на нескольких дашбордах. Поддерживаются глобальная область и область папки — больше не придется вручную синхронизировать одинаковые настройки.
— Grafana Notebooks. Запросы, панели, выводы Grafana Assistant и собственные комментарии можно собрать в одном редактируемом документе.
— Обновленный интерфейс. Grafana получила новые темную и светлую темы, переработанную типографику, более мягкие границы, новые цвета и унифицированные компоненты. При этом навигация и привычные рабочие процессы не поменялись, а плагины на стандартных компонентах автоматически подхватят новый стиль.
— Предварительный план дашборда от Grafana Assistant. Перед созданием дашборда помощник может показать его структуру: панели, строки, вкладки, типы визуализаций и переменные. План можно уточнить, посмотреть в режиме предварительного просмотра и только потом применить.
— Отмена изменений Assistant. Если результат редактирования дашборда не понравился, теперь можно отменить весь последний набор изменений одним действием.
— Общие переменные, Notebooks и новый дизайн пока доступны в режиме Public Preview. В self-managed Grafana их необходимо активировать через feature toggles. В релиз также вошли дополнительные изменения визуализаций, Alerting и Git Sync.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Grafana Labs
Grafana 13.3 release: manage variables across dashboards, share findings with Notebooks, a UI refresh, and more | Grafana Labs
Explore what's new in Grafana 13.3, including cross-dashboard variables, Notebooks for capturing and sharing your findings across Grafana, and a first look at the refreshed Grafana UI.
👍6
Пулер PgDoorman: больше запросов, меньше ожидания
Разработчики команды Ozon Tech выкатили в опенсорс свой многопоточный пулер соединений PostgreSQL. В опубликованных тестах он показывает производительность в 4 раза выше PgBouncer.
Кэширование подготовленных запросов, fallback через Patroni и другие преимущества смотрите на страничке пулера: https://ozon.tech/pg_doorman
Разработчики команды Ozon Tech выкатили в опенсорс свой многопоточный пулер соединений PostgreSQL. В опубликованных тестах он показывает производительность в 4 раза выше PgBouncer.
Кэширование подготовленных запросов, fallback через Patroni и другие преимущества смотрите на страничке пулера: https://ozon.tech/pg_doorman
👍6
Мы доказали, что многокластерный Kafka работает на Kubernetes… Вот всё, что мы узнали
📌 Подробнее: https://aswin6303.medium.com/we-proved-multi-cluster-kafka-works-on-kubernetes-heres-everything-we-learned-853dd5f1c03c
MemOps🤨
Мы создали рабочий прототип Apache Kafka, распределённого по трём независимым кластерам Kubernetes с использованием Strimzi, Submariner и Cilium, обеспечив переключение без простоя в случае полного отказа одного из кластеров.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Medium
We Proved Multi-Cluster Kafka Works on Kubernetes… Here’s Everything we Learned
tl;dr: We built a working prototype of Apache Kafka distributed across three independent Kubernetes clusters using Strimzi, Submariner, and…
👍4🌚3❤1
Ваша резервная копия Kubernetes успешно восстановлена. Так почему же приложение сломано?
📌 Подробнее: https://medium.com/@ishay7/your-kubernetes-backup-restored-successfully-so-why-is-the-app-broken-0685d0a43814
MemOps🤨
Я потратил некоторое время на создание тестовой среды для резервного копирования и восстановления с использованием Velero, запустив MariaDB, PostgreSQL и MongoDB под нагрузкой, и узнал, что при резервном копировании баз данных в Kubernetes существует две сложные проблемы, а не одна. Первая — получить резервную копию, которая не является скрыто повреждённой. Вторая — восстановить эту резервную копию в другом месте и заставить её действительно работать.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Medium
Your Kubernetes Backup Restored Successfully. So Why Is the App Broken?
Your Kubernetes Backup Restored Successfully. So Why Is the App Broken?
❤4
VictoriaMetrics или Prometheus: что выбрать для хранения метрик?
📌 Подробнее: https://stdout.adegoodyer.com/posts/victoriametrics-vs-prometheus/
MemOps🤨
В статье разбирают отличия этих двух решений:
— архитектура хранения и обработки метрик
— single-node и кластерный варианты VictoriaMetrics
— различия между PromQL и MetricsQL
— репликация, дедупликация и сроки хранения
— миграция через Remote Write без немедленного отключения Prometheus
— совместимость с ServiceMonitor, PodMonitor и PrometheusRule в Kubernetes
— ограничения бесплатной и Enterprise-редакций VictoriaMetrics
Автор также рассматривает альтернативы: Thanos, Grafana Mimir, Cortex, M3 и GreptimeDB. Отдельно объясняется важное различие между системами хранения и коллекторами вроде vmagent, Prometheus Agent, Grafana Alloy и OpenTelemetry Collector.
Как ни казался бы очевидным победитель, универсального решения под все задачи нет. Для одного кластера и нескольких недель хранения часто достаточно обычного Prometheus. VictoriaMetrics становится интереснее при росте объёма метрик, увеличении retention и необходимости эффективнее использовать локальные диски. Если же данные принципиально должны храниться в объектном хранилище, стоит смотреть в сторону Thanos или Mimir.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
stdout
VictoriaMetrics vs Prometheus and Other Metrics Backends · stdout
How Prometheus and VictoriaMetrics store and query metrics on Kubernetes, where they differ and how Thanos, Mimir and others compare.
KiviDB — быстрая многопоточная альтернатива Redis® и Valkey, написанная на Rust. поддерживает протокол Redis (RESP2 и RESP3), поэтому существующие клиенты Redis, redis-cli и библиотеки работают без изменений, и в него встроен полнотекстовый и векторный поиск. Он работает на всех устройствах. ядро на основе сегментированной архитектуры ключ-значение в оперативной памяти, и данные сохраняются в моментальные снимки и опционально. файл, содержащий только дополнения.
На тех же 32 ядрах KiviDB обрабатывает 21 миллион конвейерных запросов GET в секунду: примерно в 9 раз больше, чем Redis 8. и в 2,3 раза лучше, чем Dragonfly , с задержкой p99 менее чем вдвое меньшей, чем у Dragonfly
Возможности:
- протокол : Интерфейс командной строки, совместимый с Redis ( COMMANDS.md ). список поддерживаемых команд см. в файле
- поиск и векторы : в стиле Redis Stack FT.*команды для полнотекстового, тегового, числового и векторного (FLAT / HNSW) поиска
- скриптинг на Lua : дополнительная функция Cargo. EVAL, SCRIPT, FUNCTION, FCALLа также связанные с ними команды доступны в сборках с --features lua(см. Команды скриптов (Lua) )
- TLS
📌 Подробнее: https://github.com/kividbio/kividb
MemOps🤨
На тех же 32 ядрах KiviDB обрабатывает 21 миллион конвейерных запросов GET в секунду: примерно в 9 раз больше, чем Redis 8. и в 2,3 раза лучше, чем Dragonfly , с задержкой p99 менее чем вдвое меньшей, чем у Dragonfly
Возможности:
- протокол : Интерфейс командной строки, совместимый с Redis ( COMMANDS.md ). список поддерживаемых команд см. в файле
- поиск и векторы : в стиле Redis Stack FT.*команды для полнотекстового, тегового, числового и векторного (FLAT / HNSW) поиска
- скриптинг на Lua : дополнительная функция Cargo. EVAL, SCRIPT, FUNCTION, FCALLа также связанные с ними команды доступны в сборках с --features lua(см. Команды скриптов (Lua) )
- TLS
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - kividbio/kividb: A fast, multi-threaded Redis® and Valkey alternative written in Rust: drop-in compatible, with full-text…
A fast, multi-threaded Redis® and Valkey alternative written in Rust: drop-in compatible, with full-text and vector search built in - kividbio/kividb
❤1
Меньше суток на восстановление сервисов после сбоя в облаке
📌 Подробнее: https://habr.com/ru/companies/kts/articles/1101622/
MemOps🤨
Заранее подготовленные и проверенные бэкапы упрощают восстановление сервисов. Но чтобы вернуть приложения в работу, нужно ещё развернуть инфраструктуру на новой площадке, настроить окружение, перенести данные и запустить компоненты в правильном порядке.
С такой задачей столкнулись инженеры KTS, когда облачная инфраструктура заказчика стала недоступна. В ход пошли Terraform, Ansible и заранее подготовленные бэкапы, восстановление из которых команда проверяла ещё до аварии. Однако не всё зависело от команды: приходилось ждать выделения ресурсов и передачи данных.
Ключевые сервисы удалось вернуть в работу менее чем за сутки без потери данных. Как проходило восстановление и какие инженерные практики помогли вернуть бизнес в рабочее состояние.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Как IaC, документация и бэкапы помогли восстановить сервисы, когда пострадали дата-центры Яндекса
Привет, я Сергей, DevOps-инженер в KTS . Перейду сразу к делу. К отказу отдельной виртуалки вы наверняка готовы. Но не все готовы к другому классу аварии: к потере площадки, на которой находятся почти...
👍4