DevOps MemOps
6.6K subscribers
3.54K photos
549 videos
16 files
5.69K links
Всё о DevOps

Для связи - @raz_raz
Заказать рекламу через биржу: https://telega.in/c/devops_memops
Download Telegram
🚨 Как один из крупнейших хостеров Рунета отстрелил себе сеть (и заодно DNS). Тотальный блэкаут Beget.

Утро понедельника для тысяч бизнесов и эникеев по всей стране началось с массового алёрта. Beget, который годами славился топовым аптаймом и ламповой поддержкой, совершил жесткое, неконтролируемое погружение на дно.

Около 2-3 ночи (МСК) у провайдера начинает сыпаться сеть. Сначала деградируют базы данных MySQL, затем отваливается панель управления, а к 8 утра легло абсолютно ВСЁ. Виртуальный хостинг, VPS, почта, панель управления, биллинг и DNS-серверы.

Саппорт открестился от хацкеров, вирусов, кинетических прилетов по ЦОДу и происков РКН:
Проблема носит комплексный характер и затрагивает все уровни архитектуры. Инженеры выполняют ручную настройку инфраструктуры непосредственно в дата-центрах.


Вероятнее всего это суицид SDN или фатальная ошибка маршрутизации. Кто-то глубокой ночью решил накатить небольшой патч 🎩 на автоматизацию SDN или обновить конфигурацию BGP на core-роутерах. В итоге скрипт отработал так хорошо, что маршрутизаторы отрезали сами себя и всю сеть от внешнего мира.
Удаленный доступ отвалился. Единственный способ всё починить - физически ехать в ЦОД, брать монитор + клаву + тележку, втыкаться в стойки руками и откатывать конфиги терминал за терминалом. Отсюда и отсутствие таймингов на восстановление.

Куча контор, которые держали сами сайты на сторонних дедиках в Европе или Selectel, сегодня лежат. Потому как домены они делегировали на NS-сервера Бегета. ДНС умер - маршрутизация до живых серверов остановилась ⚰️

Также мелькает инфа, что параллельно лихорадит Честный Знак. Совпадение? Когда падает инфра такого масштаба, каскадный эффект и перестроение маршрутов могут положить соседние узлы обмена трафиком.

Инженерам Beget желаю запаса кофэ, валерьянки и прямых рук 🤙

Типичный 🥸 Сисадмин
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯11🫡9
Choosing Between ClickStack and Grafana for ClickHouse Observability

Кажется, в observability снова выбор без выбора: Grafana или ClickStack?

Статья разбирает вопрос выбора на примере ClickHouse. Если ClickHouse — центральное хранилище телеметрии, а инженеры чаще расследуют инциденты, чем смотрят на заранее созданные графики, авторы предлагают смотреть в сторону ClickStack: поиск, корреляция логов, метрик и трейсов, session replay и отдельный акцент на AI/SRE-агентов через MCP.

Grafana остаётся сильнее там, где инфраструктура неоднородная: Prometheus, ClickHouse и ещё десяток источников, которые нужно собрать на одном дашборде, добавить алертинг и не заставлять команду менять привычные процессы.

Так как статья опубликована в блоге Clickhouse, практичный вывод напрашивается сам собой: «А зачем выбирать?» Grafana можно оставить для дашбордов и мониторинга, а ClickStack использовать для глубоких расследований по данным ClickHouse. Причём данные и ingestion pipeline дублировать не придётся.


📌 Подробнее: https://clickhouse.com/blog/choosing-between-clickstack-and-grafana-for-clickhouse-observability

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁29
Как я за 4 дня пасхальных каникул создал Kubernetes Rightsizer и сократил затраты на k8s на 36%

Стало совершенно ясно, что единственный способ получить реальную экономию — это автоматически перенастроить размеры всех ресурсов сразу, кластер за кластером.


📌 Подробнее: https://medium.com/@mcpunzo/how-i-built-a-kubernetes-rightsizer-in-4-days-during-easter-vacation-and-cut-k8s-costs-by-36-2c98c99b1956

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁48👍2
Как мы построили наш конвейер развёртывания: GitOps, ArgoCD и Kubernetes в Dodo Payments

Мы — Dodo Payments, компания по инфраструктуре платежей и биллинга. Мы обрабатываем реальные деньги для бизнеса в нескольких странах. Это означает, что соответствие стандарту PCI DSS не является опциональным — оно жизненно необходимо. А PCI требует чего-то, чего у нас не было: полной, аудируемой истории всех изменений в нашей производственной среде.


📌 Подробнее: https://dodopayments.com/engineering/deployment-pipeline-gitops-argocd-kubernetes

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5😭2
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁21👍1
Grafana 13.3. Главные изменения:

— Переменные между дашбордами. Переменную окружения, региона или кластера теперь можно определить один раз и использовать на нескольких дашбордах. Поддерживаются глобальная область и область папки — больше не придется вручную синхронизировать одинаковые настройки.

— Grafana Notebooks. Запросы, панели, выводы Grafana Assistant и собственные комментарии можно собрать в одном редактируемом документе.

— Обновленный интерфейс. Grafana получила новые темную и светлую темы, переработанную типографику, более мягкие границы, новые цвета и унифицированные компоненты. При этом навигация и привычные рабочие процессы не поменялись, а плагины на стандартных компонентах автоматически подхватят новый стиль.

— Предварительный план дашборда от Grafana Assistant. Перед созданием дашборда помощник может показать его структуру: панели, строки, вкладки, типы визуализаций и переменные. План можно уточнить, посмотреть в режиме предварительного просмотра и только потом применить.

— Отмена изменений Assistant. Если результат редактирования дашборда не понравился, теперь можно отменить весь последний набор изменений одним действием.

— Общие переменные, Notebooks и новый дизайн пока доступны в режиме Public Preview. В self-managed Grafana их необходимо активировать через feature toggles. В релиз также вошли дополнительные изменения визуализаций, Alerting и Git Sync.


📌 Подробнее: https://grafana.com/blog/grafana-13-3-release-all-the-latest-features/

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
Пулер PgDoorman: больше запросов, меньше ожидания

Разработчики команды Ozon Tech выкатили в опенсорс свой многопоточный пулер соединений PostgreSQL. В опубликованных тестах он показывает производительность в 4 раза выше PgBouncer.

Кэширование подготовленных запросов, fallback через Patroni и другие преимущества смотрите на страничке пулера: https://ozon.tech/pg_doorman
👍6
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁40
Мы доказали, что многокластерный Kafka работает на Kubernetes… Вот всё, что мы узнали

Мы создали рабочий прототип Apache Kafka, распределённого по трём независимым кластерам Kubernetes с использованием Strimzi, Submariner и Cilium, обеспечив переключение без простоя в случае полного отказа одного из кластеров.


📌 Подробнее: https://aswin6303.medium.com/we-proved-multi-cluster-kafka-works-on-kubernetes-heres-everything-we-learned-853dd5f1c03c

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🌚3❤1
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁26❤4
Ваша резервная копия Kubernetes успешно восстановлена. Так почему же приложение сломано?

Я потратил некоторое время на создание тестовой среды для резервного копирования и восстановления с использованием Velero, запустив MariaDB, PostgreSQL и MongoDB под нагрузкой, и узнал, что при резервном копировании баз данных в Kubernetes существует две сложные проблемы, а не одна. Первая — получить резервную копию, которая не является скрыто повреждённой. Вторая — восстановить эту резервную копию в другом месте и заставить её действительно работать.


📌 Подробнее: https://medium.com/@ishay7/your-kubernetes-backup-restored-successfully-so-why-is-the-app-broken-0685d0a43814

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23😁3😭1
VictoriaMetrics или Prometheus: что выбрать для хранения метрик?

В статье разбирают отличия этих двух решений:

— архитектура хранения и обработки метрик

— single-node и кластерный варианты VictoriaMetrics

— различия между PromQL и MetricsQL

— репликация, дедупликация и сроки хранения

— миграция через Remote Write без немедленного отключения Prometheus

— совместимость с ServiceMonitor, PodMonitor и PrometheusRule в Kubernetes

— ограничения бесплатной и Enterprise-редакций VictoriaMetrics

Автор также рассматривает альтернативы: Thanos, Grafana Mimir, Cortex, M3 и GreptimeDB. Отдельно объясняется важное различие между системами хранения и коллекторами вроде vmagent, Prometheus Agent, Grafana Alloy и OpenTelemetry Collector.

Как ни казался бы очевидным победитель, универсального решения под все задачи нет. Для одного кластера и нескольких недель хранения часто достаточно обычного Prometheus. VictoriaMetrics становится интереснее при росте объёма метрик, увеличении retention и необходимости эффективнее использовать локальные диски. Если же данные принципиально должны храниться в объектном хранилище, стоит смотреть в сторону Thanos или Mimir.


📌 Подробнее: https://stdout.adegoodyer.com/posts/victoriametrics-vs-prometheus/

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁26❤1
KiviDB — быстрая многопоточная альтернатива Redis® и Valkey, написанная на Rust. поддерживает протокол Redis (RESP2 и RESP3), поэтому существующие клиенты Redis, redis-cli и библиотеки работают без изменений, и в него встроен полнотекстовый и векторный поиск. Он работает на всех устройствах. ядро на основе сегментированной архитектуры ключ-значение в оперативной памяти, и данные сохраняются в моментальные снимки и опционально. файл, содержащий только дополнения.

На тех же 32 ядрах KiviDB обрабатывает 21 миллион конвейерных запросов GET в секунду: примерно в 9 раз больше, чем Redis 8. и в 2,3 раза лучше, чем Dragonfly , с задержкой p99 менее чем вдвое меньшей, чем у Dragonfly

Возможности:
- протокол : Интерфейс командной строки, совместимый с Redis ( COMMANDS.md ). список поддерживаемых команд см. в файле
- поиск и векторы : в стиле Redis Stack FT.*команды для полнотекстового, тегового, числового и векторного (FLAT / HNSW) поиска
- скриптинг на Lua : дополнительная функция Cargo. EVAL, SCRIPT, FUNCTION, FCALLа также связанные с ними команды доступны в сборках с --features lua(см. Команды скриптов (Lua) )
- TLS

📌 Подробнее: https://github.com/kividbio/kividb

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😭25💯4
Меньше суток на восстановление сервисов после сбоя в облаке

Заранее подготовленные и проверенные бэкапы упрощают восстановление сервисов. Но чтобы вернуть приложения в работу, нужно ещё развернуть инфраструктуру на новой площадке, настроить окружение, перенести данные и запустить компоненты в правильном порядке.

С такой задачей столкнулись инженеры KTS, когда облачная инфраструктура заказчика стала недоступна. В ход пошли Terraform, Ansible и заранее подготовленные бэкапы, восстановление из которых команда проверяла ещё до аварии. Однако не всё зависело от команды: приходилось ждать выделения ресурсов и передачи данных.

Ключевые сервисы удалось вернуть в работу менее чем за сутки без потери данных. Как проходило восстановление и  какие инженерные практики помогли вернуть бизнес в рабочее состояние.


📌 Подробнее: https://habr.com/ru/companies/kts/articles/1101622/

MemOps🤨
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
MemOps 😃
Please open Telegram to view this post
VIEW IN TELEGRAM
😁26