Однажды любая компания, которая разрабатывает свой сервис, приходит к идее, что кластер БД, состоящий из мастера и нескольких реплик, можно разгрузить.
Для этого можно читать данные с реплик.
Однако, при реализации возникает один нюанс (далее будет пример с PostgreSQL).
Нужно обязательно проверить, как на кластере с репликацией настроен механизм подтверждения транзакций.
Подробнее https://cloud.yandex.ru/docs/managed-postgresql/concepts/replication#write-sync-and-read-consistency
Идея в том, чтобы данные были консистентны на всех нодах кластера, чтобы не случилась ситуация, когда вы пишете на мастер данные, потом считываете их с реплики, а там этих данных нет.
Это регулируется параметром synchronous_commit:
https://postgrespro.ru/docs/postgrespro/13/runtime-config-wal#GUC-SYNCHRONOUS-COMMIT
Список серверов для подтверждения транзакции:
https://postgrespro.ru/docs/postgrespro/13/runtime-config-replication#RUNTIME-CONFIG-REPLICATION-MASTER (synchronous_standby_names)
Для этого можно читать данные с реплик.
Однако, при реализации возникает один нюанс (далее будет пример с PostgreSQL).
Нужно обязательно проверить, как на кластере с репликацией настроен механизм подтверждения транзакций.
Подробнее https://cloud.yandex.ru/docs/managed-postgresql/concepts/replication#write-sync-and-read-consistency
Идея в том, чтобы данные были консистентны на всех нодах кластера, чтобы не случилась ситуация, когда вы пишете на мастер данные, потом считываете их с реплики, а там этих данных нет.
Это регулируется параметром synchronous_commit:
https://postgrespro.ru/docs/postgrespro/13/runtime-config-wal#GUC-SYNCHRONOUS-COMMIT
Список серверов для подтверждения транзакции:
https://postgrespro.ru/docs/postgrespro/13/runtime-config-replication#RUNTIME-CONFIG-REPLICATION-MASTER (synchronous_standby_names)
yandex.cloud
Документация Yandex Cloud | Yandex Managed Service for PostgreSQL | Репликация в Managed Service for PostgreSQL
Из статьи вы узнаете, как работает репликация хостов кластера в Yandex Managed Service for PostgreSQL.
Команда, которая обслуживает несколько десятков docker-образов, отвечает за их обновление, а также пишет неплохую документацию по использованию сервисов.
https://www.linuxserver.io/
https://fleet.linuxserver.io/
https://hub.docker.com/u/linuxserver
https://www.linuxserver.io/
https://fleet.linuxserver.io/
https://hub.docker.com/u/linuxserver
🤔1
У nginx есть отдельный аккаунт, под которым они публикуют образ
Отличия от образа nginx следующие:
nginx-unprivileged https://hub.docker.com/r/nginxinc/nginx-unprivileged, который запускается в непривилегированном режиме.Отличия от образа nginx следующие:
This Docker Hub repository hosts NGINX Docker images that run NGINX as a non root, unprivileged user. Notable differences with respect to the official NGINX Docker image include:
The default NGINX listen port is now 8080 instead of 80.
The default NGINX user directive in /etc/nginx/nginx.conf has been removed.
The default NGINX PID has been moved from /var/run/nginx.pid to /tmp/nginx.pid. *Change _temp_path variables to /tmp/.
👍1
Прекрасный инструмент для уменьшения размера репозитория, который распухает из-за блобов, которые не загрузили под Git LFS или загрузили случайно (например, из-за отсутствующего .gitignore). Также инструмент позволяет удалить со всех веток опубликованные файлы с токенами, логинами, паролями и ключами.
https://rtyley.github.io/bfg-repo-cleaner/
https://rtyley.github.io/bfg-repo-cleaner/
rtyley.github.io
BFG Repo-Cleaner by rtyley
A simpler, faster alternative to git-filter-branch for deleting big files and removing passwords from Git history.
🔥2
Конфигурация nginx, позволяющая избавиться от ботов и/или пользователей, которые подключаются к вашему ресурсу по IP или с заголовком
Для тех, кто подключается по протоколу HTTP - возращаем 444 ошибку - The non-standard code 444 closes a connection without sending a response header.
(https://nginx.org/en/docs/http/ngx_http_rewrite_module.html#return).
Для HTTPS - сбрасываем handshake директивой
SSL-сертификаты можно использовать либо самоподписные, либо сгенерированные пакетом ssl-cert (есть в Debian-based дистрибутивах), которые избавляют нас от этого.
За пример конфигурации спасибо @trombonax
Host, отличным от адреса сайта.Для тех, кто подключается по протоколу HTTP - возращаем 444 ошибку - The non-standard code 444 closes a connection without sending a response header.
(https://nginx.org/en/docs/http/ngx_http_rewrite_module.html#return).
Для HTTPS - сбрасываем handshake директивой
ssl_reject_handshake
(https://nginx.org/en/docs/http/ngx_http_ssl_module.html#ssl_reject_handshake).SSL-сертификаты можно использовать либо самоподписные, либо сгенерированные пакетом ssl-cert (есть в Debian-based дистрибутивах), которые избавляют нас от этого.
За пример конфигурации спасибо @trombonax
server {
listen 80 default_server;
listen 443 ssl http2 default_server;
server_name _ "";
ssl_certificate ssl/ssl-cert-snakeoil.pem;
ssl_certificate_key ssl/ssl-cert-snakeoil.key;
ssl_reject_handshake on;
return 444;
}👍2
https://github.com/mkubecek/vmware-host-modules
Vmware-модули vmmon и vmnet для сборки под разные версии Vmware Player/Workstation и разные ядра.
Полезно, когда приехало свежее ядро (например, на Fedora), а vmware ещё не собрала модули под новую версию.
Сборка простая
Vmware-модули vmmon и vmnet для сборки под разные версии Vmware Player/Workstation и разные ядра.
Полезно, когда приехало свежее ядро (например, на Fedora), а vmware ещё не собрала модули под новую версию.
Сборка простая
sudo make && sudo make install
sudo systemctl restart vmware
GitHub
GitHub - mkubecek/vmware-host-modules: Patches needed to build VMware (Player and Workstation) host modules against recent kernels
Patches needed to build VMware (Player and Workstation) host modules against recent kernels - mkubecek/vmware-host-modules
В Gitlab 15.3 появилась возможность использовать Podman для выполнения задач
https://docs.gitlab.com/runner/executors/docker.html#use-podman-to-run-docker-commands
https://docs.gitlab.com/runner/executors/docker.html#use-podman-to-run-docker-commands
Gitlab
Docker executor | GitLab Docs
GitLab product documentation.
🔥1
Трейлер документального роуд-муви о Linux в России:
https://youtu.be/PMg8d1N6Dy0
Сайт режиссера и фильма:
https://www.serotoninja.com/linstoria/
https://youtu.be/PMg8d1N6Dy0
Сайт режиссера и фильма:
https://www.serotoninja.com/linstoria/
YouTube
Линстория - документальный фильм о Линукс в России. Трейлер #1
Помочь проекту:
Сбербанк: 2202 2023 0840 7802
Бусти: https://boosty.to/linstoria
Информация о проекте:
https://www.serotoninja.com/linstoria/
https://t.iss.one/linstoria
Идея, режиссёр, оператор-постановщик: Тимофей Королёв
Музыка: Антон Чекрыгин, Артём Иоаннисян…
Сбербанк: 2202 2023 0840 7802
Бусти: https://boosty.to/linstoria
Информация о проекте:
https://www.serotoninja.com/linstoria/
https://t.iss.one/linstoria
Идея, режиссёр, оператор-постановщик: Тимофей Королёв
Музыка: Антон Чекрыгин, Артём Иоаннисян…
В дополнение к новости о том, что Сбербанк хочет перейти на российские сертификаты https://rozetked.me/news/25555
Теперь нас просят самостоятельно поставить на все наши устройства сертификаты
https://www.sberbank.ru/ru/certificates
Теперь нас просят самостоятельно поставить на все наши устройства сертификаты
https://www.sberbank.ru/ru/certificates
Rozetked
«Сбер» начал переводить свои сайты на российские TLS-сертификаты
«Сбер» первым в стране начал установку на свои сайты и информационные системы сертификатов, выпущенных Национальным удостоверяющим центром (НУЦ).
Сейчас проходит конференция https://scale.yandex.ru/ где Яндекс анонсирует новые сервисы и улучшения в Яндекс.Облаке и не только.
Из интересного:
Новый ДЦ в Калуге https://cloud.yandex.ru/blog/posts/2022/09/cloud-data-center-kaluga
Новые инструменты для Kubernetes https://cloud.yandex.ru/marketplace?type=K8S
Сервис Yandex Backup. Cервис позволяет создавать резервные копии виртуальных машин целиком и управлять расписаниями создания и удаления этих копий. При этом все бэкапы, созданные с помощью сервиса, будут храниться в масштабируемом облачном объектном хранилище Yandex Object Storage. С помощью Yandex Cloud Backup наши клиенты смогут защитить корпоративные и клиентские данные от сбоя ИТ-инфраструктуры, вредоносного программного обеспечения и оперативнее реагировать на инциденты.
Добавление в checkov поддержки Yandex.Cloud. checkov — лидирующий инструмент по сканированию terraform манифестов на предмет мисконфигураций безопасности теперь поддерживает Yandex Cloud terraform ресурсы. Это означает, что клиенты Yandex Cloud теперь могут определять и блокировать создание потенциально опасных облачных объектов в рамках Infrastracture as a code подхода с помощью проверок.
Резервируемое потребление снова доступно пользователям. Резервируйте определённый объём сервисов платформы Yandex Cloud на полгода или один год и экономьте до 22%.
Из интересного:
Новый ДЦ в Калуге https://cloud.yandex.ru/blog/posts/2022/09/cloud-data-center-kaluga
Новые инструменты для Kubernetes https://cloud.yandex.ru/marketplace?type=K8S
Сервис Yandex Backup. Cервис позволяет создавать резервные копии виртуальных машин целиком и управлять расписаниями создания и удаления этих копий. При этом все бэкапы, созданные с помощью сервиса, будут храниться в масштабируемом облачном объектном хранилище Yandex Object Storage. С помощью Yandex Cloud Backup наши клиенты смогут защитить корпоративные и клиентские данные от сбоя ИТ-инфраструктуры, вредоносного программного обеспечения и оперативнее реагировать на инциденты.
Добавление в checkov поддержки Yandex.Cloud. checkov — лидирующий инструмент по сканированию terraform манифестов на предмет мисконфигураций безопасности теперь поддерживает Yandex Cloud terraform ресурсы. Это означает, что клиенты Yandex Cloud теперь могут определять и блокировать создание потенциально опасных облачных объектов в рамках Infrastracture as a code подхода с помощью проверок.
Резервируемое потребление снова доступно пользователям. Резервируйте определённый объём сервисов платформы Yandex Cloud на полгода или один год и экономьте до 22%.
scale.yandex.cloud
Yandex Neuro Scale 2025 | 24 сентября | Москва и онлайн
Большая конференция Yandex Cloud для тех, кто создаёт цифровые продукты и решения. 7 тематических треков, 50+ выступлений и более 13 000 участников.
👍1👎1
Набор уязвимых приложений для обучения и эксплуатации уязвимостей
https://github.com/vulhub/vulhub
https://github.com/vulhub/vulhub
GitHub
GitHub - vulhub/vulhub: Pre-Built Vulnerable Environments Based on Docker-Compose
Pre-Built Vulnerable Environments Based on Docker-Compose - vulhub/vulhub
❤1🔥1
Всех с наступающим (или с уже наступившим) Новым годом!
Всем мирного неба над головой, хороших новостей, здоровья вашим родным и близким!
Пусть 2023 год для вас будет годом, в которым вы реализуете все свои мечты и желания, о которых могли раньше только думать.
Всего самого-самого, увидимся в следующем году ❤️
Всем мирного неба над головой, хороших новостей, здоровья вашим родным и близким!
Пусть 2023 год для вас будет годом, в которым вы реализуете все свои мечты и желания, о которых могли раньше только думать.
Всего самого-самого, увидимся в следующем году ❤️
❤11
Довольно хороший доклад про построение высокодоступного кластера PostgreSQL
https://habr.com/ru/post/504044/
https://habr.com/ru/post/504044/
Хабр
Управление высокодоступными PostgreSQL кластерами с помощью Patroni. А.Клюкин, А.Кукушкин
Расшифровка доклада/tutorial "Управление высокодоступными PostgreSQL кластерами с помощью Patroni". А.Клюкин, А.Кукушкин Patroni — это Python-приложение для создания высокодоступных...
Быстрее, выше, сильнее 💪
Production-ready PHP environments in seconds.
Stop the headache from debugging. Get production-ready PHP Docker Images that help you replicate your application, no matter the environment.
https://serversideup.net/open-source/docker-php/
Production-ready PHP environments in seconds.
Stop the headache from debugging. Get production-ready PHP Docker Images that help you replicate your application, no matter the environment.
https://serversideup.net/open-source/docker-php/
Server Side Up - Docker PHP
Supercharge your PHP experience, in seconds. Built upon the official PHP images, our production-ready serversideup/php images take your Docker PHP experience to the next level. Enjoy variable-first configurations, nginx-unit variation, native CloudFlare support…