trickster - бустер для Prometheus
Еще одна плюшка для вас, лучшие подписчики. Если вы хотите в будущем downsampling и long-term сторедж для Prometheus - запилите по-быстрому trickster.
Grafana перестанет тупить, и в результате плюс пару месяцев для имплементации Cortex или Thanos (уже обсуждали выше).
В двух словах: trickster кеширует и нормализует запросы в Prometheus, из-за чего все начинает работать быстрее.
Вот, смотрите:
https://github.com/Comcast/trickster
Еще одна плюшка для вас, лучшие подписчики. Если вы хотите в будущем downsampling и long-term сторедж для Prometheus - запилите по-быстрому trickster.
Grafana перестанет тупить, и в результате плюс пару месяцев для имплементации Cortex или Thanos (уже обсуждали выше).
В двух словах: trickster кеширует и нормализует запросы в Prometheus, из-за чего все начинает работать быстрее.
Вот, смотрите:
https://github.com/Comcast/trickster
GitHub
GitHub - trickstercache/trickster: Open Source HTTP Reverse Proxy Cache and Time Series Dashboard Accelerator
Open Source HTTP Reverse Proxy Cache and Time Series Dashboard Accelerator - trickstercache/trickster
Апдейты по конференциям
1. Мне написал классный девопс, организатор Hashidays в Киеве, активный участник UkrOps club и просто хороший человек Юра Рочняк. Смотрите, через неделю будет DevOpsDays Kiev 🔸 https://devopsdays.com.ua
Билеты еще есть, но уже маловато. Кстати, подпишитесь еще на @catops - это девопс-канал Юры, там даже есть промо на -20% на эту конференцию.
2. Информация для тех, кто всегда хотел выступить на конференции. Осенью будет проходить DevOps Stage, и меня попросили поделиться формой для спикеров с вами. Хороший момент в том, что есть достаточно времени для подготовки и качественный комитет для подготовки (в прошлом году был Дима Лавриненко). Возможно я тоже решусь в очередной раз что-то рассказать. Делюсь ссылкой на форму: 🔻
https://forms.office.com/Pages/ResponsePage.aspx?id=1FioiOHj0UO35qinNvFVB6HBnJTKSlZFlPCcel1HkPlURThWOUJIMTZNMVEwVUdTM0JVTjBaUk5aWS4u&fbclid=IwAR07nDZJ4NYxwsxjjfAaICvc_U9DGDsCSY78-nty8yzsUX0qkar6BEVwg5w
3. Мне нужны ваши реакции на посты в канале. Благодаря им я получаю от вас обратную связь, и могу проанализировать что вам нравится.
Это для того, чтобы улучшать контент.
Спасибо вам 🙏😚
1. Мне написал классный девопс, организатор Hashidays в Киеве, активный участник UkrOps club и просто хороший человек Юра Рочняк. Смотрите, через неделю будет DevOpsDays Kiev 🔸 https://devopsdays.com.ua
Билеты еще есть, но уже маловато. Кстати, подпишитесь еще на @catops - это девопс-канал Юры, там даже есть промо на -20% на эту конференцию.
2. Информация для тех, кто всегда хотел выступить на конференции. Осенью будет проходить DevOps Stage, и меня попросили поделиться формой для спикеров с вами. Хороший момент в том, что есть достаточно времени для подготовки и качественный комитет для подготовки (в прошлом году был Дима Лавриненко). Возможно я тоже решусь в очередной раз что-то рассказать. Делюсь ссылкой на форму: 🔻
https://forms.office.com/Pages/ResponsePage.aspx?id=1FioiOHj0UO35qinNvFVB6HBnJTKSlZFlPCcel1HkPlURThWOUJIMTZNMVEwVUdTM0JVTjBaUk5aWS4u&fbclid=IwAR07nDZJ4NYxwsxjjfAaICvc_U9DGDsCSY78-nty8yzsUX0qkar6BEVwg5w
3. Мне нужны ваши реакции на посты в канале. Благодаря им я получаю от вас обратную связь, и могу проанализировать что вам нравится.
Это для того, чтобы улучшать контент.
Спасибо вам 🙏😚
DevOpsDays -
DevOpsDays: AI Chapter - DevOpsDays
DevOpsDays Ukraine is part of the worldwide DevOpsDays community. This June, we’re hosting virtual talks by speakers, Ignite sessions from the DevOps community around the world, and kicking off Open Space discussions.
Terraform 0.12: few weeks from now
Уже очень скоро:
Готовьтесь выпиливать:
#
Уже очень скоро:
almost there! Release candidate 1 of Terraform 0.12.0 is now available for testing. Unless testing identifies a significant blocker, we expect to publish the final 0.12.0 release a few weeks from now.
Готовьтесь выпиливать:
#
TODO: fix/implement/improve in TF 0.12
https://www.hashicorp.com/blog/releasing-terraform-0-12-0-rc1HashiCorp
Releasing Terraform 0.12.0-rc1
Release candidate 1 of Terraform 0.12.0 is now available for testing. Unless testing identifies a significant blocker, we expect to publish the final 0.12.0 release a few weeks from now.
Announcing Terraform 0.12
Ну что, друзья! Создавайте таски в Jira по миграции и рефакторингу всего вашего IaC.
Отличная новость. Очень рад 😌
https://www.hashicorp.com/blog/announcing-terraform-0-12
Ну что, друзья! Создавайте таски в Jira по миграции и рефакторингу всего вашего IaC.
Отличная новость. Очень рад 😌
https://www.hashicorp.com/blog/announcing-terraform-0-12
AWS Dev Day Kyiv
11 июня в Киеве будет конференция от AWS, участие бесплатное, треки очень даже неплохие. Регистрируйтесь:
https://awsdevday.kyiv.provectus.com/
11 июня в Киеве будет конференция от AWS, участие бесплатное, треки очень даже неплохие. Регистрируйтесь:
https://awsdevday.kyiv.provectus.com/
Почему нужно делать multicloud
Вот почему:
https://twitter.com/w3Nicolas/status/1134529316904153089
И еще пару моментов:
- проверьте канал коммуникации с вашим провайдером. Как быстро вы получите ответ, если аккаунт залочат?
- проверьте, что бекапы есть не только на S3 или в виде снепшотов, заточенных под конкретный клауд
- продумайте Disaster recovery plan, если вот вообще апокалипсис будет. Сколько вам нужно будет времени переподнять все с чистого листа? Как это повлияет на бизнес?
Как спланировать DRP:
https://cloud.google.com/solutions/dr-scenarios-planning-guide
И multicloud, конечно 😌
Вот почему:
https://twitter.com/w3Nicolas/status/1134529316904153089
И еще пару моментов:
- проверьте канал коммуникации с вашим провайдером. Как быстро вы получите ответ, если аккаунт залочат?
- проверьте, что бекапы есть не только на S3 или в виде снепшотов, заточенных под конкретный клауд
- продумайте Disaster recovery plan, если вот вообще апокалипсис будет. Сколько вам нужно будет времени переподнять все с чистого листа? Как это повлияет на бизнес?
Как спланировать DRP:
https://cloud.google.com/solutions/dr-scenarios-planning-guide
И multicloud, конечно 😌
Twitter
Nicolas Beauvais
How @DigitalOcean just killed our company @raisupcom. A long thread for a very sad story.
Стало лучше: data-at-rest encryption для EC2
Раньше как было: если вы хотите поднять EC2 интсанс, зашифрованный KMS, нужно было "пересохранить и зашифровать" публичный AMI. А публичные ami достаточно часто обновляются.
Теперь как: сразу поднимается зашифрованный инстанс из публичного ami.
https://aws.amazon.com/ru/about-aws/whats-new/2019/05/launch-encrypted-ebs-backed-ec2-instances-from-unencrypted-amis-in-a-single-step/
Раньше как было: если вы хотите поднять EC2 интсанс, зашифрованный KMS, нужно было "пересохранить и зашифровать" публичный AMI. А публичные ami достаточно часто обновляются.
Теперь как: сразу поднимается зашифрованный инстанс из публичного ami.
https://aws.amazon.com/ru/about-aws/whats-new/2019/05/launch-encrypted-ebs-backed-ec2-instances-from-unencrypted-amis-in-a-single-step/
Amazon
Launch encrypted EBS backed EC2 instances from unencrypted AMIs in a single step
Vault provider не поддерживает Terraform 0.12
Зацените как весело:
https://github.com/terraform-providers/terraform-provider-vault/issues/424
Это значит, что все потенциальные пользователи Terraform 0.12, у которых есть vault provider (ну, как-бы, это все пользователи) обновиться не могут.
terraform-provider-vault не поддерживает Terraform 0.12 и вываливается с ошибкой
Hashicorp, вы себя там нормально чувствуете?) 😁
Зацените как весело:
https://github.com/terraform-providers/terraform-provider-vault/issues/424
Это значит, что все потенциальные пользователи Terraform 0.12, у которых есть vault provider (ну, как-бы, это все пользователи) обновиться не могут.
terraform-provider-vault не поддерживает Terraform 0.12 и вываливается с ошибкой
no available provider "vault" plugins are compatible with this Terraform version
Hashicorp, вы себя там нормально чувствуете?) 😁
GitHub
0.12: "no available version is compatible with this version of Terraform" · Issue #424 · terraform-providers/terraform-provider…
Since Terraform 0.12 was officially released yesterday, I tried to use it with this provider: $ terraform init -upgrade [...] No available provider "vault" plugins are compatible ...
Learning Kubernetes on EKS
Хороший пакован статей с практикой (6 статей в серии), о том как крутить AWS EKS.
Информация подана легко, можно сказать с нуля - будет интересно всем кто хотел посмотреть в сторону EKS 🔽
https://medium.com/faun/learning-kubernetes-by-doing-part-1-setting-up-eks-in-aws-50dcf7a76247
Для всех противников managed kubernetes - даже такой кубер лучше, чем никакого 😉
Хороший пакован статей с практикой (6 статей в серии), о том как крутить AWS EKS.
Информация подана легко, можно сказать с нуля - будет интересно всем кто хотел посмотреть в сторону EKS 🔽
https://medium.com/faun/learning-kubernetes-by-doing-part-1-setting-up-eks-in-aws-50dcf7a76247
Для всех противников managed kubernetes - даже такой кубер лучше, чем никакого 😉
Medium
Learning Kubernetes on EKS by Doing Part 1— Setting Up EKS
Kubernetes is a container orchestration system from Google and has emerged as the platform of choice for deploying cloud-native…
Comparing Thanos to VictoriaMetrics cluster
Создатель VictoriaMetrics Александр Валялкин написал статью, где сравнил Thanos (так делали раньше long-term storage для Prometheus) и VictoriaMetrics. Очень полезно будет для инженеров всех уровней, рекомендую.
https://medium.com/@valyala/comparing-thanos-to-victoriametrics-cluster-b193bea1683
Создатель VictoriaMetrics Александр Валялкин написал статью, где сравнил Thanos (так делали раньше long-term storage для Prometheus) и VictoriaMetrics. Очень полезно будет для инженеров всех уровней, рекомендую.
https://medium.com/@valyala/comparing-thanos-to-victoriametrics-cluster-b193bea1683
Medium
Comparing Thanos to VictoriaMetrics cluster
Thanos and VictoriaMetrics provide long-term storage and global query view for Prometheus. The article compares these solutions
DevOps дайджест на dou.ua
Друзья, я пообщался с редакторами dou.ua и они не против подключить несколько соавторов в формирование DevOps дайджеста.
Он выходит примерно раз в 2 месяца, и я старался вместить туда самое важное и полезное за этот промежуток времени.
Вот вся хроника, смотрите:
https://dou.ua/users/oleg-mikolaychenko/articles/
В среднем выпуски читают ~5 тысяч пользователей, он несет пользу обществу и является местом, где можно сформировать свою аудиторию для полезных всем действий или событий. Например, предложить сходить на классный митап, построить бренд через ссылку на инженерный блог компании или выложить ссылку на телеграм канал.
Почему я решил добавить несколько авторов:
- больше пользы для общества. Это самое главное. Несколько человек с разными экспертизами всегда будут обширнее интерпретировать изменения в DevOps мире.
- дать возможность соавтору построить личный бренд. В свое время было очень сложно было быть услышанным и донести свое видение в мир. И я решил сделать эту возможность доступной.
- больше охват аудитории. Несколько человек в команде произведут контент качественно и количественно лучше, чем я один. Это в свою очередь повлияет на пользу и охват.
Как мы это будем делать:
- предлагаю открытый репозиторий на github
- дайджест в markdown
- pull-request flow для сообщества, и апрувы от авторов
- всякие линтеры/чекеры для markdown
На данный момент есть 2 вакантных места. Кто хочет принять участие и поработать со мной над проектом, который приносит пользу нашему большому DevOps миру - пишите в личку - @mukolaich.
Stay tuned!
Друзья, я пообщался с редакторами dou.ua и они не против подключить несколько соавторов в формирование DevOps дайджеста.
Он выходит примерно раз в 2 месяца, и я старался вместить туда самое важное и полезное за этот промежуток времени.
Вот вся хроника, смотрите:
https://dou.ua/users/oleg-mikolaychenko/articles/
В среднем выпуски читают ~5 тысяч пользователей, он несет пользу обществу и является местом, где можно сформировать свою аудиторию для полезных всем действий или событий. Например, предложить сходить на классный митап, построить бренд через ссылку на инженерный блог компании или выложить ссылку на телеграм канал.
Почему я решил добавить несколько авторов:
- больше пользы для общества. Это самое главное. Несколько человек с разными экспертизами всегда будут обширнее интерпретировать изменения в DevOps мире.
- дать возможность соавтору построить личный бренд. В свое время было очень сложно было быть услышанным и донести свое видение в мир. И я решил сделать эту возможность доступной.
- больше охват аудитории. Несколько человек в команде произведут контент качественно и количественно лучше, чем я один. Это в свою очередь повлияет на пользу и охват.
Как мы это будем делать:
- предлагаю открытый репозиторий на github
- дайджест в markdown
- pull-request flow для сообщества, и апрувы от авторов
- всякие линтеры/чекеры для markdown
На данный момент есть 2 вакантных места. Кто хочет принять участие и поработать со мной над проектом, который приносит пользу нашему большому DevOps миру - пишите в личку - @mukolaich.
Stay tuned!
DOU
Статті автора Oleg Mykolaichenko
Head of DevOps в SQUAD.
DevOps дайджест #25: как деплоить за 50ms и не просыпаться в 4 утра от алертов
Вас ожидает лучшее!
Следующий выпуск будет организован вместе с классными ребятами 😉
https://dou.ua/lenta/digests/devops-digest-25/
Вас ожидает лучшее!
Следующий выпуск будет организован вместе с классными ребятами 😉
https://dou.ua/lenta/digests/devops-digest-25/
ДОУ
DevOps дайджест #25: как деплоить за 50ms и не просыпаться в 4 утра от алертов
В выпуске: как построить Graphite stack, сделать distributed tracing, научиться Helm, а также классные Grafana дашборды для вдохновения.
Действительно интересные каналы
Ребят, я бы хотел поделиться с вами подборкой классных авторских каналов. Это не рекламный пост, вы сможете убедиться по качеству и существу контента.
Все эти каналы ведут личности, которые мне в той или иной степени интересны. И я бы хотел вам о них рассказать.
Что же, давайте начнем!
👉 @ShortCali - Коротко о Калифорнии — это канал Дмитрия Осипы, мы с ним учились больно падать на борде и пили егерь на корпоративе. Сейчас он уехал с семьей работать в Калифорнию (через нашу топ-компанию AnchorFree), и рассказывает как поселился в корейском квартале и сколько стоит Mersedes в лизинг (понты вообще).
👉 @AveLipachova - Ave Липачёва — это канал Анастасии Липачёвой (кто бы мог подумать), СТО в Furnfits о психологии и жизни. Мы познакомились на прощальной тусовке Димы Осипы (тот, который уехал в Калифорнию), хотя это сложно сказать познакомились - я сначала подумал "Ты что за малая такая вообще", а потом оказалось что она менеджерит крутые вещи и настолько глубоко заряжает про когнитивные модели, что я аж присел.
👉 @PavloIsOnTheRoad - Pavlo Pedenko - это канал Паши Педенко, мы с ним учились выступать публично на тренингах MacPaw и денсили на концерте Курган и Агрегат. Я никогда не понимал как можно быть настолько странным чуваком, с одной стороны - собирать огромные хакатоны и стартап тусовки, с другой стороны - рассказывать экспромтом историю о наркомане Павлике. Канал о PM, стартапах, тусовках.
👉 @catops - CatOps - это канал Юры Рочняка о DevOps и все что с этим связано. Мой прямой конкурент и друг - организовывает Hashicorp митапы, ходит на Ukrops тусовки и сделал технический блог на медиуме (все говорят, а никто не делает). Наш канал появился несколько позднее CatOps - Юра меня вдохновил и теперь у меня тоже есть свой DevOps канал.
👉 @xpinjection_channel - xpinjection - это канал Николая Алименкова, мы с ним познакомились на XPdays (около DevOps конференция), и он собрал топ оценок за лучшие доклады. Николай максимально топит за Украину (хотя и приехал с Республики Беларусь), организовывает множество отличнейших конференций по тестированию/программированию/девопсу и ходит с хипстерской бородой. Скорее всего вы уже были на его конференции. Потом я заметил что он пару раз делал реврайт новостей с нашего канала, и наша дружба укрепилась еще сильнее.
👉 @notieinIT - noTieinIT - это канал Дмитрия Меньшикова, CTO в Aurora Technologies. Мы с ним готовились к выступлению на hwdays 2017, и я сейчас помню как был удивлен что чувак с такой прической может так глубоко заряжать технические темы. Помню это было топ-10 хайлоад фейлов, еще на канале есть инфа по блокчейну (раньше была) и менеджменту.
Пока писал, понял насколько крутые люди меня окружают (сложно сказать окружают, скорее я на них смотрю). А ведь у скольки интереснейших людей нет своих личных каналов!
В любом случае, это натолкнуло меня на мысли, что моя личность - это не только техническая и инженерная составляющая. И, возможно, кому-то будет интересно почитать чем я живу, что думаю, куда двигаюсь и о чем мечтаю лично: @AveMykolaichenko
Ребят, я бы хотел поделиться с вами подборкой классных авторских каналов. Это не рекламный пост, вы сможете убедиться по качеству и существу контента.
Все эти каналы ведут личности, которые мне в той или иной степени интересны. И я бы хотел вам о них рассказать.
Что же, давайте начнем!
👉 @ShortCali - Коротко о Калифорнии — это канал Дмитрия Осипы, мы с ним учились больно падать на борде и пили егерь на корпоративе. Сейчас он уехал с семьей работать в Калифорнию (через нашу топ-компанию AnchorFree), и рассказывает как поселился в корейском квартале и сколько стоит Mersedes в лизинг (понты вообще).
👉 @AveLipachova - Ave Липачёва — это канал Анастасии Липачёвой (кто бы мог подумать), СТО в Furnfits о психологии и жизни. Мы познакомились на прощальной тусовке Димы Осипы (тот, который уехал в Калифорнию), хотя это сложно сказать познакомились - я сначала подумал "Ты что за малая такая вообще", а потом оказалось что она менеджерит крутые вещи и настолько глубоко заряжает про когнитивные модели, что я аж присел.
👉 @PavloIsOnTheRoad - Pavlo Pedenko - это канал Паши Педенко, мы с ним учились выступать публично на тренингах MacPaw и денсили на концерте Курган и Агрегат. Я никогда не понимал как можно быть настолько странным чуваком, с одной стороны - собирать огромные хакатоны и стартап тусовки, с другой стороны - рассказывать экспромтом историю о наркомане Павлике. Канал о PM, стартапах, тусовках.
👉 @catops - CatOps - это канал Юры Рочняка о DevOps и все что с этим связано. Мой прямой конкурент и друг - организовывает Hashicorp митапы, ходит на Ukrops тусовки и сделал технический блог на медиуме (все говорят, а никто не делает). Наш канал появился несколько позднее CatOps - Юра меня вдохновил и теперь у меня тоже есть свой DevOps канал.
👉 @xpinjection_channel - xpinjection - это канал Николая Алименкова, мы с ним познакомились на XPdays (около DevOps конференция), и он собрал топ оценок за лучшие доклады. Николай максимально топит за Украину (хотя и приехал с Республики Беларусь), организовывает множество отличнейших конференций по тестированию/программированию/девопсу и ходит с хипстерской бородой. Скорее всего вы уже были на его конференции. Потом я заметил что он пару раз делал реврайт новостей с нашего канала, и наша дружба укрепилась еще сильнее.
👉 @notieinIT - noTieinIT - это канал Дмитрия Меньшикова, CTO в Aurora Technologies. Мы с ним готовились к выступлению на hwdays 2017, и я сейчас помню как был удивлен что чувак с такой прической может так глубоко заряжать технические темы. Помню это было топ-10 хайлоад фейлов, еще на канале есть инфа по блокчейну (раньше была) и менеджменту.
Пока писал, понял насколько крутые люди меня окружают (сложно сказать окружают, скорее я на них смотрю). А ведь у скольки интереснейших людей нет своих личных каналов!
В любом случае, это натолкнуло меня на мысли, что моя личность - это не только техническая и инженерная составляющая. И, возможно, кому-то будет интересно почитать чем я живу, что думаю, куда двигаюсь и о чем мечтаю лично: @AveMykolaichenko
DevOps Fest 2019: видео
Если вы любите так же как и я ходить на конференции и больше общаться, чем слушать доклады, то эта подборка будет полезна:
https://www.youtube.com/playlist?list=PLuOBDBq7MW70UL_4Fsf0Pxer6LzeYvxPN
Если вы любите так же как и я ходить на конференции и больше общаться, чем слушать доклады, то эта подборка будет полезна:
https://www.youtube.com/playlist?list=PLuOBDBq7MW70UL_4Fsf0Pxer6LzeYvxPN
YouTube
DevOps Fest 2019
Here you can find talks from DevOps Fest 2019 - Ukrainian professional conference on DevOps practices. Kyiv, Ukraine.
DigitalOcean: MySQL & Redis databases
DigitalOcean добавили PaaS базы данных - MySQL и Redis. Теперь запускать простые проекты вообще стало просто и дешево. Интересно, что ребята в коментах стали ныть: очень дорого.
Вот прайсинг:
- $15/month за самую мелкую MySQL стенделон ноду
- $50/month за кластер из 2 HA MySQL нод
Мне кажется, что это не то что дешево, а супер дешево - с точки зрения разворачивания, CM, IaC, менеджмента и поддержки.
https://blog.digitalocean.com/take-the-worry-out-of-managing-your-mysql-redis-databases/
DigitalOcean добавили PaaS базы данных - MySQL и Redis. Теперь запускать простые проекты вообще стало просто и дешево. Интересно, что ребята в коментах стали ныть: очень дорого.
Вот прайсинг:
- $15/month за самую мелкую MySQL стенделон ноду
- $50/month за кластер из 2 HA MySQL нод
Мне кажется, что это не то что дешево, а супер дешево - с точки зрения разворачивания, CM, IaC, менеджмента и поддержки.
https://blog.digitalocean.com/take-the-worry-out-of-managing-your-mysql-redis-databases/
Digitalocean
Take the worry out of managing your MySQL & Redis databases
Our mission at DigitalOcean is to simplify the cloud so you can focus more on building apps and less on managing the underlying infrastructure. To that end, we introduced Managed Databases for Post...
Okta: hub & spoke + aws cli
Всем привет! Значит, запилили у нас SecOps полиси: все должны ходить в AWS через Okta (identity provider), пользователей в аккаунтах мы забираем.
Реализовали через концепцию hub & spoke: вы логиньтесь в Hub account, а из него через switch role уже идите в нужный. Напряжно, ну ладно, привыкли.
Ну и доку SecOps не написали, как работать с CLI, Terraform, aws cli, etc. И оно в таком состоянии жило, т.к. сразу же кто-то придумал сделать один service account, и через него запускать все cli-тулы.
Получается, что Okta уже заадоптили, а используем сервисный аккаунт. Ну ладно, подумал я, как-то в следующий раз обязательно исправлю (... нет) 🙂
И вот добираюсь я до задачи, которая относится к AWS EKS: пару месяцев назад я сделал selenium grid cluster для QA в AWS EKS, и теперь понадобилось дать туда kubectl доступ для ребят из Support тимы (они нам помогают делать всякие не сложные штуки по инфраструктуре, на смене 24/7).
А там iam authenticator. Пришлось разбираться!
Итого:
1) Сначала пришлось научиться и описать доку, как работать с aws-okta:
https://github.com/segmentio/aws-okta
2) Потом правильно настроить ~/.aws/config (aws_saml_url и source_profile) для каждого из аккаунтов
3) Подконфигурить
4) Завелось!
Что же происходит: aws-okta идет в Hub аккаунт, там ее встечает Okta, присылает push notification на смартфон, потом aws-okta делает switch role в Spoke аккаунт, и уже оттуда через IAM получает доступ в kubectl 😳
Если кто-то совсем не понял о чем заметка, то вот референсы:
🔹 https://segment.com/blog/secure-access-to-100-aws-accounts/ - Как сделать Hub & Spoke архитектуру аккаунтов чтобы удобно было (все равно не удобно 😄)
🔹 https://aws.amazon.com/premiumsupport/knowledge-center/amazon-eks-cluster-access/ - Как добавить пользователей/группы в EKS кластер, и почему по умолчанию доступ есть только у создателя
Всем привет! Значит, запилили у нас SecOps полиси: все должны ходить в AWS через Okta (identity provider), пользователей в аккаунтах мы забираем.
Реализовали через концепцию hub & spoke: вы логиньтесь в Hub account, а из него через switch role уже идите в нужный. Напряжно, ну ладно, привыкли.
Ну и доку SecOps не написали, как работать с CLI, Terraform, aws cli, etc. И оно в таком состоянии жило, т.к. сразу же кто-то придумал сделать один service account, и через него запускать все cli-тулы.
Получается, что Okta уже заадоптили, а используем сервисный аккаунт. Ну ладно, подумал я, как-то в следующий раз обязательно исправлю (... нет) 🙂
И вот добираюсь я до задачи, которая относится к AWS EKS: пару месяцев назад я сделал selenium grid cluster для QA в AWS EKS, и теперь понадобилось дать туда kubectl доступ для ребят из Support тимы (они нам помогают делать всякие не сложные штуки по инфраструктуре, на смене 24/7).
А там iam authenticator. Пришлось разбираться!
Итого:
1) Сначала пришлось научиться и описать доку, как работать с aws-okta:
https://github.com/segmentio/aws-okta
2) Потом правильно настроить ~/.aws/config (aws_saml_url и source_profile) для каждого из аккаунтов
3) Подконфигурить
aws-auth конфигмапу, и дать доступ для всех кто смог сделать assume spoke role 4) Завелось!
Что же происходит: aws-okta идет в Hub аккаунт, там ее встечает Okta, присылает push notification на смартфон, потом aws-okta делает switch role в Spoke аккаунт, и уже оттуда через IAM получает доступ в kubectl 😳
aws-okta exec okta-elite -- kubectl get pod --all-namespaces 👍Если кто-то совсем не понял о чем заметка, то вот референсы:
🔹 https://segment.com/blog/secure-access-to-100-aws-accounts/ - Как сделать Hub & Spoke архитектуру аккаунтов чтобы удобно было (все равно не удобно 😄)
🔹 https://aws.amazon.com/premiumsupport/knowledge-center/amazon-eks-cluster-access/ - Как добавить пользователей/группы в EKS кластер, и почему по умолчанию доступ есть только у создателя
GitHub
GitHub - segmentio/aws-okta: aws-vault like tool for Okta authentication
aws-vault like tool for Okta authentication. Contribute to segmentio/aws-okta development by creating an account on GitHub.
Selenium grid on steroids: Zalenium
И еще в догонку пирожков насыплю. Раньше как было: 1 хост, там селениум, тесты проходят вечность. Падает и умирает, результаты не валидные, всем плохо.
Мы решили запихнуть это в кубер с наименьшими усилиями (на тот момент в команде было 2 человека), вся инфра в AWS - только переехали, соответственно и решение - AWS EKS.
Заводится с пол пинка, дальше стандартный пакет: prometheus operator, федерация в основной Prometheus, логгирование, секреты, helm, и сверху selenium:
https://github.com/helm/charts/tree/master/stable/selenium
Работает. И вроде отлично, 10/10, все довольны. Ровно до того момента, пока я случайно не нашел Zalenium:
https://github.com/zalando/zalenium
- из коробки умеет в Kubernetes
- делает видео UI тестов, если упали
- дашборд с логами и ссылочками
- скриншоты, где вам нужно
- менеджит версии браузеров
В общем, если будете делать в ближайшее время Selenium ферму - можно смело брать Zalenium и заделиверить полезные и неожиданные штуки для QA, они останутся довольны.
А у меня таска пока будет пылиться в беклоге.
И еще в догонку пирожков насыплю. Раньше как было: 1 хост, там селениум, тесты проходят вечность. Падает и умирает, результаты не валидные, всем плохо.
Мы решили запихнуть это в кубер с наименьшими усилиями (на тот момент в команде было 2 человека), вся инфра в AWS - только переехали, соответственно и решение - AWS EKS.
Заводится с пол пинка, дальше стандартный пакет: prometheus operator, федерация в основной Prometheus, логгирование, секреты, helm, и сверху selenium:
https://github.com/helm/charts/tree/master/stable/selenium
Работает. И вроде отлично, 10/10, все довольны. Ровно до того момента, пока я случайно не нашел Zalenium:
https://github.com/zalando/zalenium
- из коробки умеет в Kubernetes
- делает видео UI тестов, если упали
- дашборд с логами и ссылочками
- скриншоты, где вам нужно
- менеджит версии браузеров
В общем, если будете делать в ближайшее время Selenium ферму - можно смело брать Zalenium и заделиверить полезные и неожиданные штуки для QA, они останутся довольны.
А у меня таска пока будет пылиться в беклоге.
GitHub
charts/stable/selenium at master · helm/charts
⚠️(OBSOLETE) Curated applications for Kubernetes. Contribute to helm/charts development by creating an account on GitHub.
Канал о Go и местами DevOps штуках
Серега Хобот свичнулся из DevOps Engineer в Golang Developer , и делится полезными ссылками и подходами ◀️
https://t.iss.one/golangdigest
Серега Хобот свичнулся из DevOps Engineer в Golang Developer , и делится полезными ссылками и подходами ◀️
https://t.iss.one/golangdigest
Forwarded from Go Дайджест
Урааааа! 🚀🎉🥳🎊🧨💣🍾🔥
Видосики с GopherCon 2019
https://www.youtube.com/playlist?list=PL2ntRZ1ySWBdDyspRTNBIKES1Y-P__59_
Видосики с GopherCon 2019
https://www.youtube.com/playlist?list=PL2ntRZ1ySWBdDyspRTNBIKES1Y-P__59_
YouTube
GopherCon 2019
Share your videos with friends, family, and the world
Tilt: local Kubernetes development with no stress
Очень интересная тулза для разработки. С ее помощью можно красиво организовать процесс разработки микросервисов, и делать это намного продуктивнее. 🔥
В двух словах tilt - это враппер над docker, kubernetes и docker-compose. Он умеет понимать, что исходный код приложения изменился, пересобрать контейнер, передеплоить новую версию в локальный кластер и обновить страничку. Если что-то поломалось - показать логи.
В readme есть видео, рекомендую посмотреть - возможно, с понедельника вы захотите себе сделать Tilt ☺️
https://github.com/windmilleng/tilt
Очень интересная тулза для разработки. С ее помощью можно красиво организовать процесс разработки микросервисов, и делать это намного продуктивнее. 🔥
В двух словах tilt - это враппер над docker, kubernetes и docker-compose. Он умеет понимать, что исходный код приложения изменился, пересобрать контейнер, передеплоить новую версию в локальный кластер и обновить страничку. Если что-то поломалось - показать логи.
В readme есть видео, рекомендую посмотреть - возможно, с понедельника вы захотите себе сделать Tilt ☺️
https://github.com/windmilleng/tilt
GitHub
GitHub - tilt-dev/tilt: Define your dev environment as code. For microservice apps on Kubernetes.
Define your dev environment as code. For microservice apps on Kubernetes. - GitHub - tilt-dev/tilt: Define your dev environment as code. For microservice apps on Kubernetes.
Конференция DevOpsStage
18-19 октября в Киеве (два полных дня) будет проходить конференция для DevOps - 45 докладов, воркшопы, все как нужно. Я там даже планирую выступать с темой Envoy as TCP proxy.
По моей просьбе для вас сделали промо, на -10%:
И вообще, можете подписаться на их телегу: @devopsstage
Билеты тут: https://devopsstage.com/
Так что, до встречи на конференции!
18-19 октября в Киеве (два полных дня) будет проходить конференция для DevOps - 45 докладов, воркшопы, все как нужно. Я там даже планирую выступать с темой Envoy as TCP proxy.
По моей просьбе для вас сделали промо, на -10%:
DOUDigestИ вообще, можете подписаться на их телегу: @devopsstage
Билеты тут: https://devopsstage.com/
Так что, до встречи на конференции!