Как мониторить сотни инстансов PostgreSQL и не сойти с ума
Если вы инженер в крупной компании, а особенно если ваша организация поставляет свои услуги в виде SaaS-решений, то вам так или иначе придется решать задачу мониторинга работы всех ваших баз PostgreSQL. На них часто бывает завязан функционал, важный для компании с точки зрения финансовых рисков, поэтому крайне желательно организовать не только мониторинг, но и получение уведомлений, когда что-то идет не по плану (или пойдет в ближайшем будущем). В этой статье рассмотрено несколько способов, как это можно сделать:
🚀 «Все сам» на Prometheus + Grafana (странно, что в списке нет Zabbix)
🚀 Готовые решения open-source (как ни странно это Percona Monitoring and Management и pgAdmin 4)
🚀 Платные решения (pganalyze, Tantor (это авторы этой статьи, поэтому странно, если бы их не было в этом списке)
✍️ Напишите в комментах, что вы используете для мониторинга ваших экземпляров PostgreSQL.
Если вы инженер в крупной компании, а особенно если ваша организация поставляет свои услуги в виде SaaS-решений, то вам так или иначе придется решать задачу мониторинга работы всех ваших баз PostgreSQL. На них часто бывает завязан функционал, важный для компании с точки зрения финансовых рисков, поэтому крайне желательно организовать не только мониторинг, но и получение уведомлений, когда что-то идет не по плану (или пойдет в ближайшем будущем). В этой статье рассмотрено несколько способов, как это можно сделать:
🚀 «Все сам» на Prometheus + Grafana (странно, что в списке нет Zabbix)
🚀 Готовые решения open-source (как ни странно это Percona Monitoring and Management и pgAdmin 4)
🚀 Платные решения (pganalyze, Tantor (это авторы этой статьи, поэтому странно, если бы их не было в этом списке)
✍️ Напишите в комментах, что вы используете для мониторинга ваших экземпляров PostgreSQL.
👍4🔥2
Why VictoriaMetrics? A Practical Guide to Scalable and Faster Monitoring Than Prometheus
Если вы используете Prometheus для мониторинга и сталкиваетесь с проблемой высокого использования оперативной памяти, больших объемов данных, проблемами масштабируемости и низкой скоростью запросов , пришло время прочитать эту статью и рассмотреть возможность использования VictoriaMetrics.
✍️ Напишите в комментах какие проблемы испытываете с Prometheus и есть ли в планах миграция на другое решение.
❗️статья на medium.com
Если вы используете Prometheus для мониторинга и сталкиваетесь с проблемой высокого использования оперативной памяти, больших объемов данных, проблемами масштабируемости и низкой скоростью запросов , пришло время прочитать эту статью и рассмотреть возможность использования VictoriaMetrics.
✍️ Напишите в комментах какие проблемы испытываете с Prometheus и есть ли в планах миграция на другое решение.
❗️статья на medium.com
❤4👍1🔥1
Oracle Database Metrics Exporter
Метрики OpenTelemetry для мониторинга СУБД Oracle (если она у вас, конечно, есть).
Метрики OpenTelemetry для мониторинга СУБД Oracle (если она у вас, конечно, есть).
👍5🔥2
Grafana по-русски, или «Графиня» де ля Форк
Тут за «Штурвалом» приехала «Графиня» — первый российский аналог Open-Source-платформы Grafana😐
Разработчики заявляют, что это не шильдик, и решение вообще не использует код Grafana.
Что еще известно:
- Платформа включена в состав системы мониторинга IT‑инфраструктуры «Пульт».
- Технологический стек: фронтенд: TypeScript + React 18, бэкенд: TypeScript + Node.js, база данных: MongoDB, плагины: Java.
- Источники данных: «Пульт», Zabbix, VictoriaMetrics, Prometheus, PostgreSQL и CSV.
- Производитель обещает: обновления, которые не ломают существующие дашборды (привет, Grafana!), нормальную ролевку из коробки, многоуровневое кэширование и универсальные API-контракты.
Запросить демо системы можно пока только через форму обратной связи 😁
Реклама ООО «Лаборатория Числитель» ИНН 9731042193 erid: 2W5zFGtXwhS
Тут за «Штурвалом» приехала «Графиня» — первый российский аналог Open-Source-платформы Grafana
Разработчики заявляют, что это не шильдик, и решение вообще не использует код Grafana.
Что еще известно:
- Платформа включена в состав системы мониторинга IT‑инфраструктуры «Пульт».
- Технологический стек: фронтенд: TypeScript + React 18, бэкенд: TypeScript + Node.js, база данных: MongoDB, плагины: Java.
- Источники данных: «Пульт», Zabbix, VictoriaMetrics, Prometheus, PostgreSQL и CSV.
- Производитель обещает: обновления, которые не ломают существующие дашборды (привет, Grafana!), нормальную ролевку из коробки, многоуровневое кэширование и универсальные API-контракты.
Запросить демо системы можно пока только через форму обратной связи 😁
Реклама ООО «Лаборатория Числитель» ИНН 9731042193 erid: 2W5zFGtXwhS
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Российский аналог Grafana, или «Графиня» де ля Форк: что же там под «платьем»
Хабр, привет! На связи Дима Унтила, product owner «Пульта» и «Графини», и Паша Мирошин, ведущий разработчик в «Лаборатории Числитель». Несколько недель назад мы объявили о выпуске «Графини» —...
👍29👎23❤4🔥3🤔2
Проценты использования процессора — это ложная метрика
По работе автор этой статьи постоянно имеет дело с серверами; при этом их владельцы всегда хотят знать, когда серверы используют свои ресурсы максимально. Вроде бы, это простая задача? Достаточно настроить top или другой инструмент мониторинга системы, посмотреть на процент использования сети, памяти и CPU, и наибольшее значение покажет, насколько близко сервер находится к пределу своих возможностей.
Однако когда владельцы пытаются реально проецировать эти значения, то оказывается. что процент использования CPU на самом деле растёт не совсем линейно. Но насколько непрямой может быть зависимость?
Чтобы ответить на этот вопрос, автор выполнил кучу стресс-тестов, мониторя при этом объём выполняемых ими работы и отображаемый системой уровень использования CPU, а затем по результатам построил графики. Читать дальше.
По работе автор этой статьи постоянно имеет дело с серверами; при этом их владельцы всегда хотят знать, когда серверы используют свои ресурсы максимально. Вроде бы, это простая задача? Достаточно настроить top или другой инструмент мониторинга системы, посмотреть на процент использования сети, памяти и CPU, и наибольшее значение покажет, насколько близко сервер находится к пределу своих возможностей.
Однако когда владельцы пытаются реально проецировать эти значения, то оказывается. что процент использования CPU на самом деле растёт не совсем линейно. Но насколько непрямой может быть зависимость?
Чтобы ответить на этот вопрос, автор выполнил кучу стресс-тестов, мониторя при этом объём выполняемых ими работы и отображаемый системой уровень использования CPU, а затем по результатам построил графики. Читать дальше.
👍4❤2🔥2
Мониторинг и SLA на фронтенде: где брать метрики и как не высасывать из пальца SLI
Купер входит в топ-3 на рынке e-grocery. У них больше 100 тыс. уникальных пользователей в сутки. До 10 тыс. RPS в обычный день, в несколько раз больше — в дни высокой нагрузки. Из 10 тыс. порядка 1,5 тыс. приходится на сервисы фронта. В этой статье разобрано:
🚀 Как мониторится фронтенд в Купере
🚀 Что выбирается в качестве SLI
🚀 Какие клиентские метрики используются в качестве SLI
Купер входит в топ-3 на рынке e-grocery. У них больше 100 тыс. уникальных пользователей в сутки. До 10 тыс. RPS в обычный день, в несколько раз больше — в дни высокой нагрузки. Из 10 тыс. порядка 1,5 тыс. приходится на сервисы фронта. В этой статье разобрано:
🚀 Как мониторится фронтенд в Купере
🚀 Что выбирается в качестве SLI
🚀 Какие клиентские метрики используются в качестве SLI
👍2🔥2
Мониторинг Celery. Pull-модель
В этой статье рассмотрена возможность получения метрик Celery непосредственно от самих воркеров, хитрости, на которые придётся пойти, чтобы решить эту задачу, и, самое главное, какие преимущества от этого можно получить по сравнению с классическим подходом к мониторингу Celery. Также продемонстрирую небольшой Django-проект и пример его конфигурации. Особое внимание будет уделено режиму мультипроцессинга и тому, как та или иная конфигурация запуска Celery будет влиять на сложность решения.
В этой статье рассмотрена возможность получения метрик Celery непосредственно от самих воркеров, хитрости, на которые придётся пойти, чтобы решить эту задачу, и, самое главное, какие преимущества от этого можно получить по сравнению с классическим подходом к мониторингу Celery. Также продемонстрирую небольшой Django-проект и пример его конфигурации. Особое внимание будет уделено режиму мультипроцессинга и тому, как та или иная конфигурация запуска Celery будет влиять на сложность решения.
👍2🔥1
OpenTelemetry Tracing on the JVM
В этой статье автор сравнивает различные подходы OpenTelemetry при мониторинге JVM, охватывая наиболее распространённые платформы:
🚀 Spring Boot with Micrometer Tracing
🚀 Spring Boot with the OpenTelemetry Agent
🚀 OpenTelemetry Spring Boot Starter
🚀 Quarkus
🚀 Quarkus with the OpenTelemetry Agent
В этой статье автор сравнивает различные подходы OpenTelemetry при мониторинге JVM, охватывая наиболее распространённые платформы:
🚀 Spring Boot with Micrometer Tracing
🚀 Spring Boot with the OpenTelemetry Agent
🚀 OpenTelemetry Spring Boot Starter
🚀 Quarkus
🚀 Quarkus with the OpenTelemetry Agent
🔥2👍1
Grafana Mimir: 3 reasons to run the TSDB for Prometheus on bare metal
Mimir — это горизонтально масштабируемая, высокодоступная, многопользовательская СУБД TSDB от Grafana Labs для долгосрочного хранения показателей Prometheus. В этой статье автор рассказывает о трех причинах, по которым вам может потребоваться запустить ее на виртуальных машинах и/или на bare-metal (так-то Grafana Mimir часто разворачивается на базе Kubernetes).
Mimir — это горизонтально масштабируемая, высокодоступная, многопользовательская СУБД TSDB от Grafana Labs для долгосрочного хранения показателей Prometheus. В этой статье автор рассказывает о трех причинах, по которым вам может потребоваться запустить ее на виртуальных машинах и/или на bare-metal (так-то Grafana Mimir часто разворачивается на базе Kubernetes).
SLI Evolution Stages
Статья-ответ на вопрос «Как измерить уровень обслуживания?». Alex Ewerlöf делится у себя в блоге своим опытом.
Статья-ответ на вопрос «Как измерить уровень обслуживания?». Alex Ewerlöf делится у себя в блоге своим опытом.
👍3🔥1
Prometheus and OpenTelemetry Just Couldn’t Get Along
До недавнего времени у Prometheus и OpenTelemetry были проблемы с совместимостью. Начиная с версии Prometheus 3.0. количество проблем с совместимостью поубавилось, но все устранить не удалось. В этой статье разобраны улучшения Prometheus 3.0. в связи с OpenTelemetry.
А, и дополнительно посмотрите доклад Prometheus 3.0: Everything you need to know с GrafanaCon 2025.
До недавнего времени у Prometheus и OpenTelemetry были проблемы с совместимостью. Начиная с версии Prometheus 3.0. количество проблем с совместимостью поубавилось, но все устранить не удалось. В этой статье разобраны улучшения Prometheus 3.0. в связи с OpenTelemetry.
А, и дополнительно посмотрите доклад Prometheus 3.0: Everything you need to know с GrafanaCon 2025.
❤2👍2🔥2
А вы уже знаете, как управлять IT-инфраструктурой в 2026?
Присоединяйтесь к флагманской конференции Selectel 8 октября, чтобы узнать об актуальных трендах в мире IT-инфраструктуры и опыте СТО и топ-менеджеров, которые работают с нагрузкой 24/7.
На Selectel Tech Day участников ждут:
🔺Кейсы и технические доклады от тех, кто развивает IT-рынок в России.
🔺15 технологических стендов и интерактивных зон.
🔺Живое общение и нетворкинг с практиками рынка.
📅Фиксируйте в календаре:
8 октября
Москва, Цифровое деловое пространство
Участие бесплатное, нужно только зарегистрироваться →
Реклама. АО "Селектел". erid:2W5zFHzAhG4
Присоединяйтесь к флагманской конференции Selectel 8 октября, чтобы узнать об актуальных трендах в мире IT-инфраструктуры и опыте СТО и топ-менеджеров, которые работают с нагрузкой 24/7.
На Selectel Tech Day участников ждут:
🔺Кейсы и технические доклады от тех, кто развивает IT-рынок в России.
🔺15 технологических стендов и интерактивных зон.
🔺Живое общение и нетворкинг с практиками рынка.
📅Фиксируйте в календаре:
8 октября
Москва, Цифровое деловое пространство
Участие бесплатное, нужно только зарегистрироваться →
Реклама. АО "Селектел". erid:2W5zFHzAhG4
Вообще, будет 3 части цикла, но пока опубликовано только 2. В статьях опыт сбора, хранения и визуализации метрик PHP-приложения.
Мониторинг и анализ производительности бэкенда с помощью ClickHouse и Grafana. Часть 1
Мониторинг и анализ производительности бэкенда с помощью ClickHouse и Grafana. Часть 2
Мониторинг и анализ производительности бэкенда с помощью ClickHouse и Grafana. Часть 1
Мониторинг и анализ производительности бэкенда с помощью ClickHouse и Grafana. Часть 2
👍2🔥2❤1
What’s new in the Infinity data source for Grafana: support for JQ parser, additional HTTP methods, and more
Мощщный пакет обновлений в достаточно популярном плагине для Grafana. Напомню, плагин позволяет извлекать данные в форматах JSON, CSV, XML и GraphQL.
Итак, что нового:
🚀 поддержка внутреннего парсера JQ
🚀 настройка токенов OAuth2, передача метаданных в API через заголовки или параметры запроса
🚀 имя пользователя и пароль прокси-сервера для отдельных экземпляров источника данных
🚀 поддержка HTTP-методов PATCH, PUT и DELETE
🚀 улучшенная производительность панели инструментов благодаря сжатию gzip
🚀 улучшена совместимость с внутренними функциями Grafana
Что за плагин такой на Youtube
О новведениях в блоге Grafana
Мощщный пакет обновлений в достаточно популярном плагине для Grafana. Напомню, плагин позволяет извлекать данные в форматах JSON, CSV, XML и GraphQL.
Итак, что нового:
🚀 поддержка внутреннего парсера JQ
🚀 настройка токенов OAuth2, передача метаданных в API через заголовки или параметры запроса
🚀 имя пользователя и пароль прокси-сервера для отдельных экземпляров источника данных
🚀 поддержка HTTP-методов PATCH, PUT и DELETE
🚀 улучшенная производительность панели инструментов благодаря сжатию gzip
🚀 улучшена совместимость с внутренними функциями Grafana
Что за плагин такой на Youtube
О новведениях в блоге Grafana
🔥6👍3
16 сентября разработчик российского ПО Orion soft расскажет на онлайн-вебинаре о новом релизе своей платформы для виртуализации рабочих столов и приложений Termit 2.4:
Интеграция с zVirt для создания групп ВРМ из золотого образа, сессионные и персонализированные ВМ, поддержка протокола Loudplay
Централизованные политики перенаправления устройств, аутентификация по смарт-картам, новый шаблон для Zabbix
Веб-клиент для запуска приложений и рабочих столов из браузера, поддержка перемещаемых профилей для Linux, поддержка РЕД ОС 8
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1
OTel Me More on Traces: introducing VictoriaMetrics’ Trace Analyzer
Трассировка — неотъемлемая часть observavbility-системы, помогающая разработчикам понимать, как запросы проходят через распределённые системы. OpenTelemetry (OTel) стал фактическим стандартом для сбора трассировок между сервисами, а интерфейс VictoriaMetrics теперь включает анализатор трассировок , предоставляющий визуализацию трассировки выполнения запросов. Эти трассировки показывают, как обрабатываются запросы VictoriaMetrics внутри системы, выделяя этапы, время выполнения и использование ресурсов, чтобы можно было превратить данные о выполнении запросов в полезную аналитику производительности. В этой статье рассмотрено, как работает анализатор трассировок, как его использовать, почему он важен для стека мониторинга и как его можно комбинировать с OTel для получения как общесистемных данных, так и глубоких трассировок на уровне запросов.
❗️статья на medium.com
Трассировка — неотъемлемая часть observavbility-системы, помогающая разработчикам понимать, как запросы проходят через распределённые системы. OpenTelemetry (OTel) стал фактическим стандартом для сбора трассировок между сервисами, а интерфейс VictoriaMetrics теперь включает анализатор трассировок , предоставляющий визуализацию трассировки выполнения запросов. Эти трассировки показывают, как обрабатываются запросы VictoriaMetrics внутри системы, выделяя этапы, время выполнения и использование ресурсов, чтобы можно было превратить данные о выполнении запросов в полезную аналитику производительности. В этой статье рассмотрено, как работает анализатор трассировок, как его использовать, почему он важен для стека мониторинга и как его можно комбинировать с OTel для получения как общесистемных данных, так и глубоких трассировок на уровне запросов.
❗️статья на medium.com
❤6👍1👎1🔥1