kubie: kubectx + kubens

Нашел очень интересную тулзу для CLI управления кубконфигами: kubie. Совсем маленькое приложение, которое объединяет в себе kubectx (для переключения контекста) и kubens (для переключения неймспейсов).

Переключиться можно легко и просто:

kubie ctx <context> -n <namespace>

Из интересного - разработчики планируют сделать интеграцию с Vault, чтобы динамически забирать оттуда конфиги. Очень удобной экосистемой обрастает Kubernetes: сейчас у меня это Lens + kubie 🙂

https://github.com/sbstp/kubie

serverless.tf - Doing serverless with Terraform

Набор практик и инструментов, модулей и интеграций (в будущем) как делать serverless в современном мире.

Пока что на стадии beta, т.е. Антону Бабенко можно помочь имплементировать задуманное 🙂

Уже сейчас есть качественные и правильные практики для AWS (в разделе Development Workflows): CodeDeploy + aliases (для rolling, canary, rollbacks стратегий).

На данном этапе заслуживает звездочки на Github и доверия на будущее 👍

https://github.com/antonbabenko/serverless.tf

Introducing Twingate

Twingate - корпоративный VPN сервис по концепции Zero Trust Networking, над которым я сейчас работаю. По сути, эта штука дает возможность заменить старый и ламучий OpenVPN, настроить интеграцию с разными SSO (например, Okta) и предоставлять доступ на основе ACL.

Если чуть детальнее, то работает это вот так. Допустим, есть VPC с внутренними ресурсами (админки, веб интерфейсы, базы данных, т.п.). Из вариантов доступа туда:
- bastion host
- OpenVPN

Bastion host нужно менеджить, пробрасывать через него порты, управлять фаерволлом и еще кучу всего. OpenVPN - это очень легко вначале, но очень геморойно и не супер стабильно на большом скейле. Наверное, все получали сертификаты в Slack 😞

Такие решения подходят и работают, но в современных инфраструктурах их бы строить не хотелось. В общем, третий вариант - это развернуть Twingate Access Node (в Docker) без External IP, в админке указать SSO провайдер и все. Работает.

Варианты реализации описаны в книге от Google - "Building Secure & Reliable Systems".

По моему мнению, в ближайшие год-два реализация корпоративного доступа с OpenVPN перейдет на подобные решения. Из наших конкурентов - Google BeyondCorp и Tailscale, посмотрите на них тоже 🙂

Более детально о Twingate можно почитать тут:
https://www.twingate.com/blog/introducing-twingate?utm_source=share&utm_medium=social&utm_campaign=Oleg

FYI: на страницу с ценами можно не смотреть, т.к. у нас еще в принципе нет биллинга 😁 (это значит, что уже можно брать и тестить)

Cloud solutions: how would you build IT

Сегодня вечером (25го июня) в 19:00 будет проходить новый формат митапа: сессия с вопросами ответами в стиле "А как бы вы построили ...".

Формат новый, участие бесплатное, ссылка на регистрацию:
https://bit.ly/CloudBuildersUA

CDK for Terraform: Enabling Python & TypeScript Support

Буду краток: теперь можно описать IaC не только с помощью HCL или JSON.

Добавлена поддержка TypeScript и Python.

https://www.hashicorp.com/blog/cdk-for-terraform-enabling-python-and-typescript-support

Подборка DevOps-вакансий #1

Всем привет! Я решил запустить периодические подборки хороших вакансий. В каждой вакансии будет уровень ЗП и основные технические скиллы, которые нужны компании.

Мне никто не платит за публикацию, вакансии я выбираю сам, бонусов тоже никаких нет. Это тестовый формат, поэтому может это первая и последняя такая подборка.

Ну, погнали!

DevOps Engineer в ocean.io
https://www.linkedin.com/in/kateryna-hrechannikova-476b491a3
Требования - GCP, Kubernetes, Pulumi, ArgoCD
Вилка - до $5000.

Lead System Reliability Engineer в Wirex
https://wirexapp.com/en-ua/vacancy/5D759EFD74
Требования - Azure.
Вилка - $4000+.

DevOps Engineer в SD Solutions
https://sd-solutions.breezy.hr/p/69ed09f290f801-devops-engineer
Требования - Docker, Jenkins, Kubernetes, AWS.
Вилка - до $4500.

DevOps/SRE/AWS Cloud Engineer в Preply
https://jobs.dou.ua/companies/preply/vacancies/87445
В этой вакансии нет вилки, потому что и компания, и вакансия - супер интересные, и вилку они мне не сказали.


И еще топ-вакансия для добивки (это ремоут) 🔥🔥🔥:

Senior SRE Engineer в HotJar
https://stackoverflow.com/jobs/410648/senior-sre-engineer-remote-hotjar
Требования - по ссылке.
Вилка - до €90 000/год (€7 500/месяц).

Дайте обратную связь: если формат заходит, и вакансии полезные - жмите пальцы вверх, если вакансий тут быть не должно - пальцы вниз. И жмите краба, если получили оффер от одной из этих компаний.

Designing distributed systems using NALSD flashcards

Понимание подхода NALSD - обязательное условие на SRE позицию в Google. Суть этого этапа собеседования - просчитать минимальное количество железа для достижения SLA/SLO из задания.

Ребята, которые готовятся к прохождению интервью на позицию SRE в Google печатают эти карточки. Если не актуально - распечатайте на потом, вдруг пригодится 🙂

https://cloud.google.com/blog/products/management-tools/sre-principles-and-flashcards-to-design-nalsd

Самый важный антипаттерн или как понять, что есть проблемы

Поздно вечер, авторский пост, поэтому я хотел бы затронуть важную тему. Как понять, что что-то идет не так в инфраструктуре, процессах, системе или бизнесе?

CTRL+C, CTRL+V.

Если такое есть, значит - все говно, давай по новой.

Если такое есть в Terraform - то это, вероятно, модуль.
Если есть в Kubernetes манифестах - то это, наверное, helm3.
Если такое есть в коде приложения - наверное, библиотека.
Если такое есть в Jenkins UI - наверное, Jenkins pipeline.

Проверьте завтра, как оно на самом деле. Очень часто сделать быстро и скопировать - означает разгребать в будущем в 2 раза больше. На гитхабе куча copy-paste detectors, можно выбрать любую.

В завершение: проходил серьезное собеседование, и рассказывал про "DevOps patterns & anti-patterns". Так вот, инсайт бесплатно: лучше говорить "design smell/code smell". Формулировку "antipattern" не понимают, или понимают не так.

kubectl apply!

Беспрецедентно: $6.9k уже не мем

Всем привет, тут такое случилось! Прилетела вакансия на $7.5k - не на лида, не на CTO, а на обыкновенного инженера 🙊

В таком случае официально заявляю: мем о мифических $6.9k уже в прошлом, запускаем мем о реальных $7.5k 🙂

А теперь к вакансии:
- Senior DevOps Engineer
- Киев/remote, USA-based
- Docker, Kubernetes, AWS + GCP
- до $7.5k

Контакты: @VladaLiashchenko

Terraform AWS modules: online coding

Прямо сейчас (онлайн) Антон Бабенко показывает, как фиксить баги в Terraform модулях. Супер интересно посмотреть флоу, инструменты, подходы к решению проблем.

Ссылка на стрим: https://www.youtube.com/watch?v=_iGLZw9w5dM

Отличной пятницы!

Highload fwdays 2020

17 и 24 октября будет проходить конференция Highload fwdays (супер качественная конференция, гарантирую).

Участие бесплатное (лайв), подключайтесь на трансляцию.

Есть возможность купить пакеты участия (Стандарт и Премиум), и получить запись выступлений, сумку, футболку (мерч пакет).

Спикеры и программа:
https://bit.ly/33Dy8IY

Промокод для участников сообщества на -11%:
79CD83CB4A

Конференция DevSecOps: сегодня, бесплатно

Буду краток:
https://bit.ly/2EQ49oH

Kube DOOM

The next level of chaos engineering is here! Kill pods inside your Kubernetes cluster by shooting them in Doom 😁

https://github.com/storax/kubedoom

Hashicorp Boundary + Hashicorp Waypoint

Сразу две крутые новости, и короткий обзор решений от Hashicorp.

1. Boundary: simple and secure remote access
По сути - решение очень похоже на Beyondcorp/Tailscale/PM81/Twingate/OpenVPN Cloud/etc
На данный момент еще сыровато, т.к. из официальной документации мне не удалось найти глубокое описание примитивов, задач для каждого компонента и примера HA сетапа.

Хотя, схема для HA есть на сайте:

https://www.boundaryproject.io/docs/installing/high-availability

Более того, Identity Providers еще тоже не готовы, что наталкивает на мысль - Hashicorp занимает себе место в "simple and secure remote access", хотя продукт еще не готов.

Думаю, следующий релиз точно даст понять серьезность Hashicorp в этом направлении, пока что есть большие надежды (авансом).

2. Waypoint: Build. Deploy. Release.
Waypoint - это CLI тула, у которой есть своя конфигурация, и она делает самый простой флоу для приложения. Есть плагины, поддержка AWS, K8S, etc.
Для меня эта штука выглядит как попытка заменить Jenkinsfile/circleci.yaml/etc + make build/make deploy/make release внутри одной тулы.

https://www.waypointproject.io/docs/lifecycle

В целом - очень интересно для мелких сетапов, например, я делал тестовое задание в Hotjar - там как раз нужно было провести нерабочее приложение по стандартному флоу: собрать, запушить, задеплоить.
В таком случае waypoint up выглядело бы супер интересно.

На днях расскажу о Cloudflare One.
Stay tuned!

DEV Challenge XVII

Продолжается регистрация на самое больше европейское IT-соревнования - DEV Challenge XVII. Там есть номинации на бекенд, фронтенд, дизайн, и там есть номинация DevOps!

В целом, на моей памяти, это первый челлендж для DevOps специализации, поэтому я максимально поддерживаю и помогаю организаторам всем чем могу.

DEV Challenge позиционируют как возможность улучшить навыки, найти новые конекшны в профессиональной среде, расширить карьерные возможности и выиграть призы.

В нашей номинации DevOps будет 3 раунда: квалификация (до 23 октября регистрация открыта), онлайн раунд, и финал. На квалификации всего 2 вопроса, и они очень изичные: можно ответить и за 5, и за 35 минут - все зависит от желания.

Оценивать ответы будем я и Volodymyr Tsap - CTO в SHALB, мой старый хороший друг и автор нашумевшего доклада "Как инженеру получать $6.9k". Мы постараемся сделать не сложно, но в то же время интересно.

Это мероприятие стоит поддержать как минимум по причине того, что это первое (!) такого рода мероприятие для DevOps, и очень круто, если мы сможем показать активность и таким образом развивать индустрию.

Регистрация по ссылке, до 23 октября:
https://devchallenge.it/

Давайте строить сообщество вместе 👍

Cloudflare One: непонятно

Непонятная ситуация получается: я думал что Cloudflare One - это продукт для zero-trust enterprise VPN. Оказалось, что это совсем не так: Cloudflare One - это набор продуктов под общим названием, которые вместе реализуют solution для корпоративного доступа к внутренним ресурсам.

В Cloudflare One входят:
- Cloudflare Access
- Cloudflare Gateway
- Cloudflare Magic Transit, Magic WAN, Magic Firewall, WARP
- Cloudflare Logs, Browser, Analytics

Более детально можно посмотреть в таблице:
https://blog.cloudflare.com/content/images/2020/10/image1-10.png

Все фичи стоят $14/user в месяц, как и у ближайших конкурентов.

Я честно пытался найти какой-то кейс имплементации, или найти пример каким образом это все можно слепить в кучу и построить защищенный доступ к внутренним ресурсам, но… Не нашел. В целом, интернет знает только о статье в блоге:
https://blog.cloudflare.com/cloudflare-one/

В статье есть архитектура, общее описание, и в принципе, все.

Мягко сказать - я немного разочарован, т.к. ожидал увидеть намного больше информации, доклады, презентации, сравнения с основными компетиторами - но, к сожалению, нет.

Сейчас этот бандл выглядит как альтернативный вариант реализации zero-trust access, и я надеюсь, что в ближайшем будущем он станет более прозрачным.

Atlassian: journey to the cloud (end support for all server products)

На днях случайно узнал, что Atlassian двигается в сторону cloud-only, и объявил о прекращении продаж лицензий и поддержки всех серверных продуктов.

🔸2 февраля 2021 года:
- прекращают продавать новые лицензии на серверные продукты
- апдейтят прайсинг

🔸 2 февраля 2024 года:
- полностью прекращают поддержку всех серверных продуктов

По сути, это значит что нужно думать и планировать миграцию в облако.

Из первого, что приходит на ум и активно используется в компаниях:
- Jira
- Confluence
- Bitbucket.

Так что создайте таску в Jira ”Move self-hosted Jira to cloud Jira” 😁

UPD: В коментах к посту отписали, что "Jira Datacenter edition will work"

https://www.atlassian.com/blog/announcements/journey-to-cloud

​​Universal sports & games HACKATHON vol.2

Совсем скоро (27-29.11.2020) пройдет онлайн-хакатон, нужно будет предложить решение для разных проблем и получить $1500.

Проблемы, которые предлагают решить на хакатоне:
👉 сбор статистики (например, логов) на AWS: очень DevOps-related (helm install EFK == $1500)
👉 computer vision для сбора информации на спортивных событиях
👉 решения для интерактива с онлайн меропрятиями (виртуальное присутствие)
👉 анализ эмоций человека (тут выглядит как ML модель в Kubeflow, например)
👉 сервис автоматического подсчета рекламных появлений в стриме (тоже разложить на фреймы, прогнать в модели, получить результат, и все это завернуть в Airflow/Kubeflow)

Регистрация еще пару дней, советую ворваться в декабрь проактивно ☄️☄️☄️

Prometheus vs VictoriaMetrics benchmark on node_exporter metrics

В статье делают бенчмарк Promethes vs VictoriaMetrics и данными с node_exporter (наверное, самым популярным экспортером в экосистеме:
https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f

🔹Результаты:
- Prometheus нужно в 7 раз больше дискового пространства
- Prometheus использует в 6 раз больше IO на чтение на нагрузке
- CPU usage одинаковый
- Prometheus нужно в 5 раз больше оперативной памяти

🔹 Выводы:
Сева, с днем рождения! Ты делаешь очень крутой продукт, который нужен всем, кто ищет long-term storage для Prometheus (т.е. вообще всем) - огромное тебе спасибо за это! Возможно, в какой-то момент можно будет даже отказаться от Prometheus в пользу vmagent, и от Alertmanager в пользу vmalert.
Очень круто осознавать, что ты у нас есть - человек, инженер, стратег и первопроходец, который учил делать мониторинг на самых зачатках DevOps митапов. Ура! 🥳

Uklon Build-up: DevOps Edition

17 декабря в рамках этого митапа будет 3 доклада:
- How to migrate your data from on-premises to AWS easily
- Uklon: The hard way from a single PC to the cloud
- Deployments in Uklon: From Laptop to Production with GitOps

Ребята из Uklon готовят последние 2 доклада, и мне это показалось очень интересным.

Uber считают очень технологичной компанией, но еще не FAANG уровня. На митапе будет интересно посмотреть, насколько технологичен Uklon (comparing to Uber), какие проблемы приходится им решать, и можно будет спросить, почему авто на карте плывет через дома и озера (иногда).

В целом, выглядит супер интересно: на месте Uklon я бы пробовал работать в таких направлениях:
1. Строить лучший сервис на локальном рынке
2. Пробовать технологично перепрыгнуть Uber, в какой-то узкой области

Каждый из этих вариантов крутой, первый - масштабированием на другие рынки, второй - потенциальным поглощением от более крупных акул.

В любом случае я жду интересных докладов:
https://uklon.cloud-builders.tech/

UDP: (на днях расскажу как узнать все что было на KubeCon за 20 минут)