Масштабирование Kafka для обеспечения роста объема данных PayPal

Apache Kafka - это платформа распределенной потоковой передачи событий с открытым исходным кодом, которая используется в PayPal для конвейеров потоковой передачи данных, интеграции и ввода данных. Она поддерживает наши самые критически важные приложения и принимает триллионы сообщений в день, что делает ее одной из самых надежных платформ для обработки огромных объемов данных, которые мы обрабатываем каждый день.

https://medium.com/paypal-tech/scaling-kafka-to-support-paypals-data-growth-a0b4da420fab

👉 @devops_star

Создание кластера MicroK8s

Хотя MicroK8s разработан как сверхлегкая реализация Kubernetes, создание кластера MicroK8s все же возможно и полезно. В этой статье рассказывается о том, как добавлять и удалять узлы и что требуется для обеспечения высокой доступности кластера.

https://microk8s.io/docs/clustering

👉 @devops_star

Robusta KRR

Robusta KRR (Kubernetes Resource Recommender) - это CLI-инструмент для оптимизации распределения ресурсов в кластерах Kubernetes. Он собирает данные об использовании подов из Prometheus и выдает рекомендации по запросам и лимитам на процессор и память. Это позволяет снизить затраты и повысить производительность.

📊 Получайте точные рекомендации по ресурсам
⏱ Немедленно
🔥 На основе истории, уже имеющейся в Prometheus
📁 Встроенные функции отчетности
⚙️ Прозрачные и понятные алгоритмы

https://github.com/robusta-dev/krr

👉 @devops_star

Kubernetes - Курс по Kubernetes для Начинающих

00:00:00 YouTube Intro
00:00:29 Введение в курс по Kubernetes
00:04:28 Что такое Kubernetes
00:08:09 Составляющие части кластера Kubernetes
00:16:28 Управление кластером с помощью kubectl
00:18:30 Программы для курса
00:24:30 Windows - Какой терминал использовать
00:25:52 Установка kubectl
00:31:08 Установка Minikube
00:36:30 Установка Docker Desktop
00:40:24 Создание кластера K8S с помощью Minikube
00:46:50 Проверка статуса кластера Minikube
00:51:19 Настройка алиаса для команды kubectl
00:54:11 Исследование кластера Minikube
00:56:46 Запущенные поды и контейнеры
01:01:00 Сравнение версий Docker
01:04:03 Создание одного пода в кластере
01:08:05 Детальная информация о поде
01:10:53 Проверка доступности веб сервера nginx в контейнере
01:14:41 Подключение внутрь контейнера
01:17:50 Почему под и контейнер недоступны снаружи кластера
01:20:18 Удаление и создание пода заново
01:22:26 Создание деплоймента
01:34:39 Изменение количества подов в деплойменте
01:41:04 IP адреса подов и их доступность
01:46:08 Итоги по масштабированию деплоймента nginx

источник

👉 @devops_star

Повышение доступности и кэширование образов контейнеров благодаря kube-image-keeper

В компании Enix мы управляем сотнями кластеров Kubernetes для наших клиентов и собственного внутреннего использования. Облачные, локальные, большие и маленькие, от разработки до продакшена... И есть одна конкретная проблема, которая в тот или иной момент затрагивает все эти кластеры: процесс поиска изображений.

https://enix.io/en/blog/cache-image-docker-kubernetes/

👉 @devops_star

KubiScan

KubiScan помогает администраторам кластеров выявить разрешения, которые злоумышленники могут использовать для компрометации кластеров. Это может быть особенно полезно в больших средах, где существует множество разрешений, которые сложно отследить. KubiScan собирает информацию о рискованных ролях\clusterroles, привязках ролей\clusterrolebindings, пользователях и подсистемах, автоматизируя традиционные ручные процессы и обеспечивая администраторам видимость, необходимую для снижения риска.

https://github.com/cyberark/KubiScan

👉 @devops_star

Checkov

Checkov сканирует конфигурации облачной инфраструктуры, чтобы найти неправильные конфигурации до их развертывания.

Checkov использует общий интерфейс командной строки для управления и анализа результатов сканирования инфраструктуры как кода (IaC) на таких платформах, как Terraform, CloudFormation, Kubernetes, Helm, ARM Templates и Serverless framework.

https://www.checkov.io/

👉 @devops_star

Управление оповещениями Prometheus в Kubernetes в масштабе с помощью GitOps

Prometheus - это популярное решение для мониторинга и оповещения с открытым исходным кодом. Оно широко используется в экосистеме Kubernetes и является частью Cloud Native Computing Foundation.

Prometheus имеет мощный механизм оповещения, который позволяет пользователям определять оповещения на основе метрик, собранных Prometheus. Оповещения могут быть настроены на отправку уведомлений по различным каналам, таким как Slack, PagerDuty, Email и т. д.

https://faun.pub/managing-prometheus-alerts-in-kubernetes-at-scale-using-gitops-25d0ab4a2e2d

👉 @devops_star

Комплексная автоматизация GitOps с помощью ArgoCD и Jenkins на Kubernetes

Часть 1 Почему стоит обратить внимание на ArgoCD?
https://emrah-t.iss.onedium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-f6c39b3dcb21


Часть 2 Пайплайн для Java-приложения
https://emrah-t.iss.onedium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-b456a8760a11

Часть 3 Защита секретов K8S с помощью ArgoCD и Vault
https://emrah-t.iss.onedium.com/extending-your-ci-cd-pipeline-with-gitops-an-end-to-end-automation-with-argocd-and-jenkins-on-4211c56cc9b1

👉 @devops_star

Docker — не то, чем кажется

Меня зовут Матвей Мочалов, я — компьютерный инженер и один из авторов корпоративного блога cdnnow! Мы с вами познакомились в этом посте про историю DRM для видеоконтента. Сегодня я хочу поговорить с вами про Docker, а точнее про то, о чём многие забывают: различиях в нём для разных систем. Нам, как CDN-провайдеру Docker, все его 50 оттенков близки и знакомы. И, к счастью, наше взаимодействие с ним происходит из-под Linux, но, увы, не всем так везёт.

Как это часто бывает, с мультиплатформенностью и прочими «красивыми» словами в IT, всё не так однозначно. У всего своя цена, и под капотом один и тот же инструмент на разных системах, по сути своей может представлять из себя несколько разных вещей с различными принципами работы и производительностью. А обещания революции скрывают за собой эволюцию, либо вовсе регресс и топтание на месте.

https://habr.com/ru/companies/cdnnow/articles/809481/

👉 @devops_star

Освоите методы мониторинга черного и белого ящика на открытом уроке «Мониторинг распределенных систем»

Зачем нужен мониторинг в распределенных системах и в каких случаях он критичен?

Изучите на практике как правильно ставить задачи для мониторинга, чтобы получать полезные и точные данные

✅ Управляй доступностью и надёжностью в ведущих компаниях: стань экспертом SRE!

SRE — это не просто тренд, а стандарт управления IT-инфраструктурой в крупных компаниях. Хочешь играть по правилам, а не тушить пожары?

⬆️ Протестируй курс «SRE практики и инструменты» на открытом уроке
https://tglink.io/9f108fa19775?erid=2W5zFJRCint

#реклама
О рекламодателе

Сканер на наличие уязвимостей в образах контейнеров, файловых системах и репозиториях Git, а также для проблем с конфигурацией

Trivy обнаруживает уязвимости пакетов ОС (Alpine, RHEL, CentOS и т. д.) и языковых пакетов (Bundler, Composer, npm, yarn и т. д.). Кроме того, Trivy сканирует файлы Infrastructure as Code (IaC), такие как Terraform, Dockerfile и Kubernetes, чтобы обнаружить потенциальные проблемы конфигурации

https://github.com/aquasecurity/trivy

👉 @devops_star

Gitea & Act Runner: First touch

Хотелось бы восполнить скромную пустоту в литературе по Gitea. С версии 1.19 в Gitea появился свой CI/CD и раннер Act Runner, являющийся ничем иным как форком всем знакомого nextos/act-runner.

Собственно говоря, с Gitea я был знаком достаточно давно, и использовал его в своих любительских целях более года, а вот к Gitea CI/CD руки мои дошли только сейчас, и сразу же меня спохватил зуд перенести свой самописный пайплайн по развертке сайта на базе MkDocs на него.

Кроме того, интересно будет пронаблюдать: упрется ли в потолок наконец-то мой VPS с 2 гигабайтами ОЗУ, или же нет? Насколько вообще Gitea вместе с одним инстансом раннера будет прожороливым?

https://habr.com/ru/articles/770448/

👉 @devops_star

Обзор K8s LAN Party — сборника задач по поиску уязвимостей в кластере Kubernetes прямо в браузере

Я продолжаю тестировать инструменты, которые помогают научиться защищать кластеры Kubernetes. На этот раз взглянем на продукт от разработчиков из компании Wiz Research — Kubernetes LAN Party, челлендж по выполнению CTF-сценариев. Выход инструмента был приурочен к прошедшей в марте этого года конференции KubeCon EMEA 2024.

https://habr.com/ru/companies/flant/articles/807015/

👉 @devops_star

Soft skills. Стоит ли вкладываться в софт скилы DevOps, программистам, тестировщикам?

Говорят Айтишник, особенно DevOps и SRE, должен быть улыбчивый, коммуникабельный и всё в этом роде. Зачем нужны софт скилы?

источник

👉 @devops_star

🔍Может ли AIOps полностью заменить DevOps? 🔄

1 💡 Культура имеет значение:
DevOps - это не только инструменты, это командная работа и совместное совершенствование. AIOps помогает решать некоторые задачи, но он не может исправить динамику команды.
Пример: В DevOps разработчики и ИТ-специалисты работают в тесном контакте, чтобы быстрее решать проблемы.

2 💻 От идеи к реальности:
DevOps занимается всем, начиная с планирования и заканчивая выпуском программного обеспечения. AIOps помогает на некоторых этапах, но не охватывает всего, что делает DevOps.
Пример: В DevOps все работают вместе, чтобы создавать и выпускать программное обеспечение без сбоев.

3 🧠 Люди все еще главные:
В AIOps используются умные алгоритмы, но настоящими экспертами являются люди. DevOps нуждается в человеческих мозгах для принятия важных решений.
Пример: В DevOps опытные члены команды принимают жесткие решения, когда ситуация становится сложной.

4 🔄 Быть гибким:
DevOps любит пробовать новое и быстро меняться. AIOps не всегда может идти в ногу со временем без вмешательства людей.
Пример: В DevOps команды легко переключаются, когда появляются новые технологии или идеи.

5⚙️ Инструмент против методологии:
AIOps - это набор инструментов для оптимизации ИТ-операций, в то время как DevOps - это методология для культурных и организационных изменений.
Пример: DevOps способствует разделению ответственности между dev и ops, что выходит за рамки того, что могут предложить инструменты AIOps.

6 🌟 Непрерывное совершенствование:
DevOps способствует непрерывному обучению и совершенствованию. Инструменты AIOps учатся на данных, но DevOps поощряет инновации, основанные на человеческом факторе.
Пример: Команды DevOps постоянно совершенствуют процессы на основе обратной связи, внедряя инновации, выходящие за рамки возможностей AIOps.

7🚀 Подведение итогов: AIOps - это помощник для DevOps, а не замена. DevOps - это полный пакет, объединяющий команды для создания лучшего программного обеспечения.
Пример: DevOps - это как рецепт успеха командной работы, одним из ингредиентов которого является AIOps.

👉 @devops_star

Постройте облегченную внутреннюю платформу для разработчиков с помощью Argo CD и Kubernetes Labels

Эта статья в блоге демонстрирует, как создать облегченную внутреннюю платформу для разработчиков, не полагаясь на Backstage, но при этом предоставляя разработчикам возможность самообслуживания. Используя GitOps с Argo CD и применяя Kubernetes labels, этот метод предлагает упрощенное и эффективное решение для управления и развертывания вашей инфраструктуры.

https://itnext.io/build-a-lightweight-internal-developer-platform-with-argo-cd-and-kubernetes-labels-4c0e52c6c0f4

👉 @devops_star

Vault-secrets-operator

Создавайте секреты Kubernetes из Vault для безопасного рабочего процесса на основе GitOps.

https://github.com/ricoberger/vault-secrets-operator

👉 @devops_star

Основы Docker. Большой практический выпуск

0:00:00 Вступление
0:02:22 Что такое Docker?
0:16:29 Простой пример Hello World
0:31:34 Пример WEB приложения
0:35:55 Работаем с портами
0:41:10 Что такое docker volume
0:46:54 Поднимаем временную базу данных
0:55:26 Разворачиваем реальный проект
1:00:35 Что такое docker-compose
1:05:23 Создаем виртуальную машину (подробно)
1:08:25 Ставим Docker и Docker compose на Linux
1:10:17 Delpoy проекта с ипользованием GitHub
1:16:50 Delpoy проекта с ипользованием DockerHub

источник

👉 @devops_star

🎉Коллеги, всех причастных с праздником!!!

👉 @devops_star

Управление API или API Security? Что это такое?

В сфере кибербезопасности существует постоянная гонка между атакующими и защитниками. Этот процесс можно сравнить с визуальным процессом гонки, где основная цель - это скорость. Начинается все с фазы разведки, где происходит инвентаризация ресурсов. Затем команды приоритизируют задачи и принимают меры, основанные на этих приоритетах. Важно отметить, что скорость играет ключевую роль в этой гонке. Примером может служить серия событий, начавшаяся с утечки набора инструментов в открытый доступ от группы хакеров «The Shadow Brokers». Через месяц после этого появился шифровальщик WannaCry, а вскоре после этого его модификация NotPetya, использующая те же уязвимости с незначительными изменениями. Это произошло благодаря быстрой адаптации уже существующего кода и техник. Сравнивая сегодняшние события с прошлыми, мы видим, что скорость изменений значительно выросла. Если раньше для появления базовой атаки требовался месяц, то сейчас это может занять менее 10 дней. Это объясняется не только изменениями в инструментарии, но и развитием технологий, включая использование искусственного интеллекта. Однако вместе с увеличением скорости изменений возросла и сложность кибербезопасности. Системы становятся связанными и зависимыми друг от друга, что создает новые вызовы для обеспечения их безопасности. Необходимость защиты таких систем становится все более острой, и скорость реагирования является ключевым фактором в обеспечении безопасности в цифровом мире.

https://habr.com/ru/companies/webmonitorx/articles/811753/

👉 @devops_star