Terraform AWS modules: online coding

Прямо сейчас (онлайн) Антон Бабенко показывает, как фиксить баги в Terraform модулях. Супер интересно посмотреть флоу, инструменты, подходы к решению проблем.

Ссылка на стрим: https://www.youtube.com/watch?v=_iGLZw9w5dM

Отличной пятницы!

Highload fwdays 2020

17 и 24 октября будет проходить конференция Highload fwdays (супер качественная конференция, гарантирую).

Участие бесплатное (лайв), подключайтесь на трансляцию.

Есть возможность купить пакеты участия (Стандарт и Премиум), и получить запись выступлений, сумку, футболку (мерч пакет).

Спикеры и программа:
https://bit.ly/33Dy8IY

Промокод для участников сообщества на -11%:
79CD83CB4A

Конференция DevSecOps: сегодня, бесплатно

Буду краток:
https://bit.ly/2EQ49oH

Kube DOOM

The next level of chaos engineering is here! Kill pods inside your Kubernetes cluster by shooting them in Doom 😁

https://github.com/storax/kubedoom

Hashicorp Boundary + Hashicorp Waypoint

Сразу две крутые новости, и короткий обзор решений от Hashicorp.

1. Boundary: simple and secure remote access
По сути - решение очень похоже на Beyondcorp/Tailscale/PM81/Twingate/OpenVPN Cloud/etc
На данный момент еще сыровато, т.к. из официальной документации мне не удалось найти глубокое описание примитивов, задач для каждого компонента и примера HA сетапа.

Хотя, схема для HA есть на сайте:

https://www.boundaryproject.io/docs/installing/high-availability

Более того, Identity Providers еще тоже не готовы, что наталкивает на мысль - Hashicorp занимает себе место в "simple and secure remote access", хотя продукт еще не готов.

Думаю, следующий релиз точно даст понять серьезность Hashicorp в этом направлении, пока что есть большие надежды (авансом).

2. Waypoint: Build. Deploy. Release.
Waypoint - это CLI тула, у которой есть своя конфигурация, и она делает самый простой флоу для приложения. Есть плагины, поддержка AWS, K8S, etc.
Для меня эта штука выглядит как попытка заменить Jenkinsfile/circleci.yaml/etc + make build/make deploy/make release внутри одной тулы.

https://www.waypointproject.io/docs/lifecycle

В целом - очень интересно для мелких сетапов, например, я делал тестовое задание в Hotjar - там как раз нужно было провести нерабочее приложение по стандартному флоу: собрать, запушить, задеплоить.
В таком случае waypoint up выглядело бы супер интересно.

На днях расскажу о Cloudflare One.
Stay tuned!

DEV Challenge XVII

Продолжается регистрация на самое больше европейское IT-соревнования - DEV Challenge XVII. Там есть номинации на бекенд, фронтенд, дизайн, и там есть номинация DevOps!

В целом, на моей памяти, это первый челлендж для DevOps специализации, поэтому я максимально поддерживаю и помогаю организаторам всем чем могу.

DEV Challenge позиционируют как возможность улучшить навыки, найти новые конекшны в профессиональной среде, расширить карьерные возможности и выиграть призы.

В нашей номинации DevOps будет 3 раунда: квалификация (до 23 октября регистрация открыта), онлайн раунд, и финал. На квалификации всего 2 вопроса, и они очень изичные: можно ответить и за 5, и за 35 минут - все зависит от желания.

Оценивать ответы будем я и Volodymyr Tsap - CTO в SHALB, мой старый хороший друг и автор нашумевшего доклада "Как инженеру получать $6.9k". Мы постараемся сделать не сложно, но в то же время интересно.

Это мероприятие стоит поддержать как минимум по причине того, что это первое (!) такого рода мероприятие для DevOps, и очень круто, если мы сможем показать активность и таким образом развивать индустрию.

Регистрация по ссылке, до 23 октября:
https://devchallenge.it/

Давайте строить сообщество вместе 👍

Cloudflare One: непонятно

Непонятная ситуация получается: я думал что Cloudflare One - это продукт для zero-trust enterprise VPN. Оказалось, что это совсем не так: Cloudflare One - это набор продуктов под общим названием, которые вместе реализуют solution для корпоративного доступа к внутренним ресурсам.

В Cloudflare One входят:
- Cloudflare Access
- Cloudflare Gateway
- Cloudflare Magic Transit, Magic WAN, Magic Firewall, WARP
- Cloudflare Logs, Browser, Analytics

Более детально можно посмотреть в таблице:
https://blog.cloudflare.com/content/images/2020/10/image1-10.png

Все фичи стоят $14/user в месяц, как и у ближайших конкурентов.

Я честно пытался найти какой-то кейс имплементации, или найти пример каким образом это все можно слепить в кучу и построить защищенный доступ к внутренним ресурсам, но… Не нашел. В целом, интернет знает только о статье в блоге:
https://blog.cloudflare.com/cloudflare-one/

В статье есть архитектура, общее описание, и в принципе, все.

Мягко сказать - я немного разочарован, т.к. ожидал увидеть намного больше информации, доклады, презентации, сравнения с основными компетиторами - но, к сожалению, нет.

Сейчас этот бандл выглядит как альтернативный вариант реализации zero-trust access, и я надеюсь, что в ближайшем будущем он станет более прозрачным.

Atlassian: journey to the cloud (end support for all server products)

На днях случайно узнал, что Atlassian двигается в сторону cloud-only, и объявил о прекращении продаж лицензий и поддержки всех серверных продуктов.

🔸2 февраля 2021 года:
- прекращают продавать новые лицензии на серверные продукты
- апдейтят прайсинг

🔸 2 февраля 2024 года:
- полностью прекращают поддержку всех серверных продуктов

По сути, это значит что нужно думать и планировать миграцию в облако.

Из первого, что приходит на ум и активно используется в компаниях:
- Jira
- Confluence
- Bitbucket.

Так что создайте таску в Jira ”Move self-hosted Jira to cloud Jira” 😁

UPD: В коментах к посту отписали, что "Jira Datacenter edition will work"

https://www.atlassian.com/blog/announcements/journey-to-cloud

​​Universal sports & games HACKATHON vol.2

Совсем скоро (27-29.11.2020) пройдет онлайн-хакатон, нужно будет предложить решение для разных проблем и получить $1500.

Проблемы, которые предлагают решить на хакатоне:
👉 сбор статистики (например, логов) на AWS: очень DevOps-related (helm install EFK == $1500)
👉 computer vision для сбора информации на спортивных событиях
👉 решения для интерактива с онлайн меропрятиями (виртуальное присутствие)
👉 анализ эмоций человека (тут выглядит как ML модель в Kubeflow, например)
👉 сервис автоматического подсчета рекламных появлений в стриме (тоже разложить на фреймы, прогнать в модели, получить результат, и все это завернуть в Airflow/Kubeflow)

Регистрация еще пару дней, советую ворваться в декабрь проактивно ☄️☄️☄️

Prometheus vs VictoriaMetrics benchmark on node_exporter metrics

В статье делают бенчмарк Promethes vs VictoriaMetrics и данными с node_exporter (наверное, самым популярным экспортером в экосистеме:
https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f

🔹Результаты:
- Prometheus нужно в 7 раз больше дискового пространства
- Prometheus использует в 6 раз больше IO на чтение на нагрузке
- CPU usage одинаковый
- Prometheus нужно в 5 раз больше оперативной памяти

🔹 Выводы:
Сева, с днем рождения! Ты делаешь очень крутой продукт, который нужен всем, кто ищет long-term storage для Prometheus (т.е. вообще всем) - огромное тебе спасибо за это! Возможно, в какой-то момент можно будет даже отказаться от Prometheus в пользу vmagent, и от Alertmanager в пользу vmalert.
Очень круто осознавать, что ты у нас есть - человек, инженер, стратег и первопроходец, который учил делать мониторинг на самых зачатках DevOps митапов. Ура! 🥳

Uklon Build-up: DevOps Edition

17 декабря в рамках этого митапа будет 3 доклада:
- How to migrate your data from on-premises to AWS easily
- Uklon: The hard way from a single PC to the cloud
- Deployments in Uklon: From Laptop to Production with GitOps

Ребята из Uklon готовят последние 2 доклада, и мне это показалось очень интересным.

Uber считают очень технологичной компанией, но еще не FAANG уровня. На митапе будет интересно посмотреть, насколько технологичен Uklon (comparing to Uber), какие проблемы приходится им решать, и можно будет спросить, почему авто на карте плывет через дома и озера (иногда).

В целом, выглядит супер интересно: на месте Uklon я бы пробовал работать в таких направлениях:
1. Строить лучший сервис на локальном рынке
2. Пробовать технологично перепрыгнуть Uber, в какой-то узкой области

Каждый из этих вариантов крутой, первый - масштабированием на другие рынки, второй - потенциальным поглощением от более крупных акул.

В любом случае я жду интересных докладов:
https://uklon.cloud-builders.tech/

UDP: (на днях расскажу как узнать все что было на KubeCon за 20 минут)

KubeCon North America 2020 за 40 минут

Обещал рассказать, как узнать все что было на KubeCon North America 2020 за 20 минут, но потом заметил, что там оказывается две части:
1 часть 👉 https://www.youtube.com/watch?v=vwI1NVVNcxM
2 часть 👉 https://www.youtube.com/watch?v=zYAe0X-WRjg

Копирую кусок содержания из первой части:
09:21 Declarative Testing Clusters with KUTTL
10:38 Taking Envoy Beyond C++ with WebAssembly
11:30 Telco Stack: Observability приносит ясность в мир 5G
12:40 Новый подход к логированию в виде стека: Fluent Bit + PostgreSQL (FPS)
13:38 Is the Edge More Important Than the Service Mesh?
14:43 Kubernetes Networking by Google

Также могу поделиться дополнительной практикой после просмотра саммари конференций: всегда полезно зайти и посмотреть расписание (agenda), выбрать интересные штуки, и почитать о них текстом.

TODO: подписаться на канал Дениса Васильева и ждать обзор KubeCon из другого локейшна

Amazon Managed Service for Prometheus (AMP)

Вчера нашел AMP, о котором так давно были слухи! 🔥
Умеет в AWS ECS, AWS EKS, on-premise K8S.
По идее, можно подключить к Amazon Managed Service for Grafana и легко получить минимальный HA стек. И даже с учетом лимитейшнов, которые я описываю внизу - можно настроить алерты в Grafana, и так поехать до того момента, пока не появится аналог PrometheusAlertRule.

Preview release limitations:
- No way to configure long-term storage + retention duration - 150 days
- No Alertmanager and alert rules

https://aws.amazon.com/prometheus/

leves.fyi - software engineering salaries in Ukraine

Неожиданно, и очень воодушевляет - на levels.fyi появился раздел с зарплатами в нашей стране.
До этого момента я считал, что этим сервисом пользуются только в США, и только для FAANG (для примерного определения сколько просить и торговаться за каждый уровень).

Итого, мы получаем - сервис, в котором можно будет выбрать город (Киев, Львов, Одесса), специализацию, компанию - и посмотреть реальный рейндж зарплат на интересующую должность. Для примера - в сервисе нет Беларуси, Эстонии, Португалии, Польши (!), и еще ряда стран.

Сейчас есть 13 сабмитов, ждем намного больше и небольшого повышения средней компенсации по отрасли.

P.S. Очень жду первый FAANG с инжиниринг офисом в Украине + совсем скоро расскажу о собеседовании в HotJar

https://www.levels.fyi/Salaries/Software-Engineer/Ukraine/

DevOps дайджест #34: AWS re:Invent, Kubernetes deprecating Docker, Prometheus vs VictoriaMetrics

Крайний дайджест в этом году + вероятно, самый интересный по апдейтам.
Отличный способ начать день с пользой!)

Целый год для вас над дайджестами работали:
- Влад Волошин, Preply
- Алексей Асютин, thredUP
- Андрей Савельев, UCloud
- Дмитрий Горбунов, Gazelle Global

Огромное спасибо этим героям! 🔥

Пусть SLA 99,999% станет реальностью, и появятся первые вакансии FAANG в 2021. Ура! 💥
С наступающим Новым Годом! 🥳

https://dou.ua/forums/topic/32377/

Site Reliability Engineer, Tesla

👉 Для инженеров из США:
Мой хороший друг ищет себе в команду SRE.
Лучше писать сразу в личку за деталями: @supersupermacho

👉 Для инженеров не из США:
Также есть вакансии в Европе, куда мы можем подаваться.

https://www.tesla.com/careers/search/job/site-reliability-engineer-digital-experience-57288

UPD: Кто бы куда хотел? В Европу или США? Или дома всегда лучше?

Документація Kubernetes - help wanted

Відкриття дня - документація для Kubernetes українською 🇺🇦
https://kubernetes.io/uk/docs/home/

Виглядає так, що документацію тільки почали перекладати (команда Вови Цапа із SHALB) і їм, ймовірно, не завадить допомога:
https://github.com/kubernetes/website/commits/master/README-uk.md

Дуже крута ініціатива!

Что там случилось с Elasticsearch?

Супер кратко:
Elastic поменял лицензию для продуктов, и они перестали быть open source. Комьюнити это не понравилось.
Теперь вышел Amazon, у которого война с Elastic, и сказал - мы форкнем, и будем дальше развивать Elasticsearch + Kibana с ALv2 лицензией.

Итого, факты:
- Elastic announced moving Apache 2.0-licensed source code to be under Server Side Public License
- Elasticsearch 7.11 будет уже под SSPL, т.е. не open-source
- Elasticsearch 7.10.x, который еще ALv2 - будет получать секьюрити апдейты до May 11th, 2022
- AWS will step up to create and maintain a ALv2-licensed fork of open source Elasticsearch and Kibana

Кто бы мог подумать 🤔

https://aws.amazon.com/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch

driftctl - Take control of infrastructure drift

Driftctl is a open-source CLI that tracks, analyzes, prioritizes, and warns of infrastructure drift.

Features:
- Scan cloud provider and map resources with IaC code
- Analyze diff, and warn about drift and unwanted unmanaged resources
- Allow users to ignore resources
- Multiple output formats


Example usage:

$ driftctl scan --from tfstate://terraform.tfstate

https://github.com/cloudskiff/driftctl

ДевОпс Инженер: работа

Когда мне в личку прилетают интересные вакансии - я всегда грущу, потому что не хочу спамить в основной канал. У нас уже была вакансия с Tesla, вакансии с HotJar и куча местных opportunity с вознаграждением > 5000$.

Чтобы не грустить, и спокойно делиться с вами крутыми вакансиями, я придумал сделать отдельную филию канала - @devopsengineerwork 👈

Там уже есть первая вакансия с вилкой 5000$ - 6500$. Я буду продолжать туда постить вкусности.

@devopsengineerwork 💸