Why Alibaba Cloud uses KEDA for application autoscaling

Мы уже месяц работаем над тем, чтобы завезти event-driven autoscaling в ML pipeline.
Суть - не скейлить с помощью HPA по одному поду, а скейлить 100500, если действительно есть столько задач в source очереди.

Применяя теорию ограничений, таким образом я планирую в разы ускорить пайплайн подготовки данных для тренировки в KubeFlow.

Более того, мы получаем возможность скейла в 0 (по сравнению с HPA) и забираем метрики контроллера в Prometheus stack.

В статье описано, каким образом работает KEDA, рассмотрены основные CRD которые реализуют скейлинг и архитектура контролера.

Еще бонусом, в этой же статье нашел Vertical Pod Autoscaler (VPA) - и это стало прям какой-то неожиданной новостью 😁

Классная статья, результатами поделюсь 👇

https://www.cncf.io/blog/2021/03/30/why-alibaba-cloud-uses-keda-for-application-autoscaling/

OpenSLO: Specification

- Видел? - спрашивает меня Ярослав Молочко.
- Ухты, не видел - отвечаю я.

Давайте смотреть вместе: OpenSLO - спецификация, унифицированный стандарт для определения SLO для сервисов. Она позволяет описать Confluence таблички, где ранее было описание SLO, или собрать в кучу “и так понятные” метрики и индикаторы.

Сейчас это действительно только предложение стандарта, но формат подразумевает деплой в Kubernetes - так что вполне вероятно, что появится оператор, который сможет это применить в Alertmanager или в Grafana.

Обожаю стандарты, и оставляю две ссылки:
https://openslo.com/
https://github.com/openslo/openslo

AWS Activate Founders

1000$ от AWS для стартапов.
Самое время создать свой pet project и назвать его стартапом? 😁

https://aws.amazon.com/activate/founders/

ДевОпс Инженер: events

Когда мне в личку прилетают крутые митапы/мероприятия/ютуб трансляции - я всегда грущу, потому что не хочу спамить в основной канал. Ладно запостить DevOpsDays или XPdays, но интересных ивентов (как и вакансий) слишком много.

Чтобы спокойно делиться с вами крутыми ивентами, я решил сделать отдельную филию канала - @devopsengineerevents 👈

Там уже есть первое мероприятие с названием “DevOps-баттл”, и через пару дней я подкину туда же митап о DevSecOps. CNCF плейлисты - тоже туда. Не пропускайте знания.

@devopsengineerevents 🌠

Announcing HashiCorp Terraform 1.0 General Availability

Отакої! Релизнулся Terraform 1.0 😳

Ключевые моменты:
- state is now cross-compatible between versions 0.14.x, 0.15.x, and 1.0.x
- you can now upgrade to a new Terraform version and your workflows will continue to be operational

https://www.hashicorp.com/blog/announcing-hashicorp-terraform-1-0-general-availability

Fastly: Summary of June 8 outage

8 июня половина интернета внезапно выключилась. Упали deb репы, куча статики и куча знаменитых сайтов. По ссылке - публичный summary их постмортема, выводы - Time-to-Recover 1 час 13 минут - вполне нормально для современного интернета:
- 09:47 Initial onset of global disruption
- 11:00 Majority of services recovered

Второй вывод - акции Fastly подросли на 16% после инцидента. Оказывается, неработающий сервис может быть полезным для бизнеса.

Третий вывод - если ваш Time-to-Recover меньше чем 1 час 13 минут, вы всегда можете аргументировать ‘Мы восстановились быстрее, чем Fastly’ 😁

https://www.fastly.com/blog/summary-of-june-8-outage

KubeCon + CloudNativeCon Europe 2021 Transparency Report

Нахожу презентацию с ценными подарками:
https://www.cncf.io/wp-content/uploads/2021/06/KubeCon_EU_21_Virtual_TransparencyReport_FINAL.pdf

А там - бинго! Плейлисты на всевозможные CNCF Days:
- Cloud Native Rust Day | https://www.youtube.com/playlist?list=PLj6h78yzYM2MKPAas7pxIvueTbwFqVRCX
- Cloud Native Security Day | https://www.youtube.com/playlist?list=PLj6h78yzYM2ORbHrvs32QYLqfs080dqte
- Crossplane Community Day | https://www.youtube.com/playlist?list=PLj6h78yzYM2OFWBatWHbWgyoLNmCyAqJ0
- FluentCon | https://www.youtube.com/playlist?list=PLj6h78yzYM2N3nytAN_8shp-4MNm_nPga
- Kubernetes AI Day | https://www.youtube.com/playlist?list=PLj6h78yzYM2PvESltZXZEVbkIN4DCq96i
- PromCon Online 2021 | https://www.youtube.com/playlist?list=PLj6h78yzYM2PZb0QuIkm6ZY-xTuNA5zRO
- ServiceMeshCon | https://www.youtube.com/playlist?list=PLj6h78yzYM2Pi4GsjNNWkkEvntCLMTjEL

7 способов ускорить разработку с помощью DevOps

Пару капитанских вариантов, и пару интересных способов сделать быстрее девелопмент пайплайн в вашей компании.

Можно брать на вооружение, за автоскейлинг и рейтлимиты готов к хейту только от тех, у кого эти практики уже внедрены 😄

Также будет полезно как дополнительный чеклист к The Twelve-Factor App.

https://ain.ua/2021/06/14/7-sposobov-uskorit-razrabotku-s-devops/

DevOps - зарплатная мобилизация

Всем привет! Пришло время мобилизоваться и сделать ответную реакцию на изменение рынка - поднять статистику компенсаций по отрасли.

Зарплаты тихо поползли вверх, в то же время вся аналитика, графики, опросы - остались старыми. Для того, чтобы в ваших компаниях пересмотрели уровень зарплат, нужно подтянуть статистику “опросника на доу” до реального уровня - неофициальное место, где управленцы сверяют данные о зарплатах своих сотрудников.

Я бы очень просил серьезно отнестись к этому, т.к. мем о нереальных $6.9 уже не очень то и далеко, поэтому - пожалуйста, уделите 3 минуты драгоценного девопсового времени:

https://dou.ua/goto/zwVn

Опрос анонимный, по результатам я, как всегда, проанализирую сырые данные и скорректирую по рыночным уровням компенсаций для уровней Middle/Senior.

В начале 2020 года я уже описывал общую тенденцию - https://t.iss.one/devopsengineer/160, но сейчас ее нужно будет корректировать в большую сторону 🔥

Заполнил опрос - помог себе в будущем увеличить зарплату 👆

Github Copilot

Github Copilot - это AI-powered плагин для Visual Studio Code (пока только для этого редактора), который напишет код вместо вас.

По сути, это какая-то супербольшая натренированная модель (на основе public кода в Github), которая умеет не просто автокомплитить, а реально предсказывать, что вы хотите написать.

Интересно было бы потестить на Terraform или Kubernetes манифестах (для YAML с разными версиями будет лютый месс, конечно), но в целом выглядит интересно.

Скажем, если важный синьйор сможет этой тулой упростить себе работу - будет прям мегаполезно. Но я что-то даже не могу придумать такого кейса, когда сложная архитектурная задача может быть решена какой-то автоматизацией. Она не всегда несколькими инженерами может быть адекватно решена 😆

На видео заморский DevOps копирует условия задач с Leetcode в среду разработки, и Github Copilot генерит решение. Мне этот кейс как демка вообще не нравится (очень изи автоматизировать copy-paste задач с Leetcode даже без ML), но другого, увы, нет. Если есть интереснее - скиньте плиз в коменты.

Не думаю, что суперэтично зипнуть паблик репы на гитхабе, обучить свою модель и в будущем продавать чужые инженерные решения, но кто-то рано или поздно все равно бы это сделал.

Ссылка на демку + плагин:
https://www.youtube.com/watch?v=FHwnrYm0mNc
https://marketplace.visualstudio.com/items?itemName=GitHub.copilot

«Если сидеть весь день в наушниках и пилить функционал, то медаль получат все, кроме тебя»: почему быть хорошим инженером недостаточно, если хочешь повышения

Самое глубокое интервью, в котором каждый сможет найти что-то для себя.

Коротко и по делу:
- джунам - не опускать руки, работать бесплатно, и готовится к собеседованиям
- джунам - как можно больше обучаться (книги, курсы, конференции) - вначале пути любые знания будут полезны
- мидлам - работать только в растущих компаниях с перспективой (чтобы расти вместе с компанией)
- синьйорам - следить и понимать куда двигается рынок, чтобы правильно выбирать области экспертизы
- тимлидам - 24 часа в сутки не масштабируются, масштабируется команда
- всем - учить Linux как можно глубже
- всем - проводить демо и быть открытыми для своих клиентов (да, команды разработки - это тоже ваши клиенты, как и бизнес)
- всем - брать на себя больше ответственности, показывать максимальное качество, закатывать рукава и достигать результата

Я поделился, чем мог на своем пути, и очень буду рад, если кто-то сможет найти полезные хаки или неочевидные решения, чтобы увеличить зарплату/улучшить экспертизу/вырасти внутри компании (подчеркнуть свое).

https://highload.today/esli-sidet-ves-den-v-naushnikah-i-pilit-funktsional-to-medal-poluchat-vse-krome-tebya-pochemu-byt-horoshim-inzhenerom-nedostatochno-esli-hochesh-povysheniya/

kubetools - Curated List of Kubernetes Tools

Хочу поделиться несколькими тулами, которые точно заслуживают внимания:
1. kubie - лично пользуюсь, удобно. Kubie - это kubectx + kubens в одной туле, в конфиге достаточно указать где искать kubeconfigs.
2. k9s - UI в терминале с кучей хоткеев, я раньше как-то недооценивал, то потом мне его продал Макс Витковский (кубер-шайтан из моей команды). В общем, теперь это primary cli тула в работе.
3. Lens - это красивая, но прожорливая приложуха. Отлично выглядит, но не более 😅 Удобно для девов, или начинающих крутить кубер. Плохо работает на большом скейле - безбожно тупит.

По ссылке ниже - 100500 тулов для менеджмента, работы, аудита и анализа кубер кластера 👇

https://collabnix.github.io/kubetools/

Если у вас есть еще какая-то удобная тула для повышения продуктивности - поделитесь, пожалуйста, в комментариях.

Kubernetes Hardening Guidance

Пару недель назад National Security Agency (NSA) and the Cybersecurity and Infrastructure Security Agency (CISA) зарелизили очень крутой гайд по безопасности в Kubernetes. Многие видели эту pdf, продублирую на всякий случай:
https://media.defense.gov/2021/Aug/03/2002820425/-1/-1/1/CTR_KUBERNETES%20HARDENING%20GUIDANCE.PDF

Также появилась тула, которая позволяет проверить свой куб кластер по этому гайдлайну:
https://github.com/armosec/kubescape

Всем kubescape scan framework nsa 👋

DevOps Kitchen Talks

И в догонку хочу поделиться классным теплым DevOps подкастом на ютубе.
Получил огромное удовольствие от прослушивания в дальней дороге.
(Download фича в YouTube Premium рулит) 😁

Судя по нескольким выпускам - ребята ведут подкаст из Беларуси.
Если есть еще интересные тематические подкасты - расшарьте плиз в коментах.

https://www.youtube.com/c/DevOpsKitchenTalks/featured

OSDN 2021 - участвует Ричард Столман

Вот это новость!
В Киеве будет Ричард Столман, регистрация на конфу - бесплатная, и уже открыта. 👇

https://www.opennet.ru/opennews/art.shtml?num=55681

Terraform Best Practices

https://www.terraform-best-practices.com/

+ стрим и обсуждение бест практик с Антоном Бабенко:
https://www.youtube.com/watch?v=TCEuRujsbrE

«У Європі вірять у спеціалізацію, ти не можеш бути експертом в усьому». DevOps — про пошуки роботи у Великобританії та работу в Accenture в Латвії

Білорус Олександр Шуляк почав кар’єру в IT як сисадмін, а потім перейшов у DevOps. За 7 років він попрацював не лише в Білорусі, а й у Латвії та Великобританії.

Про те, як знайти хорошу позицію за кордоном, про особливості при складанні резюме, нюансах на співбесідах та чому круто працювати девопсом у великому аутсорсі — читайте в його інтерв’ю.

👉 https://dou.ua/goto/cBcX

А ви думаєте про те, щоб поїхати працювати за кордон?

DevOps Stage 2021, Software Architecture fwdays, AWS Tech Conference

Всем привет! Есть предложение полезно провести пятницу: прямо сейчас бесплатно доступно 3 трека на DevOps Stage 2021.

Это предзапись в формате ‘онлайн’, можно зарегистрироваться и сейчас, по личному опыту - под конференцию работается однозначно продуктивнее.

Так что погнали смотреть что нам подготовили ребята из DevOps Stage:
🔹 https://bit.ly/3jT8yZO

Анонсы по конференциям в основной канал я не постил, но они есть в events:
@devopsengineerevents <— ивенты залетают только сюда

Подпишитесь чтобы не пропускать, в скорости будут интересные мероприятия - Software Architecture fwdays (всегда топовая конфа с записями докладов на YouTube), и AWS Tech Conference - что-то новое, но очень интригующее.

Также, кому интересны вакансии на 5к+ (других не публикую) - велкам в клуб гребцов:
@devopsengineerwork <— периодически прилетают вкусняшки, например, PM Hiring Week

Всем хорошей пятницы, будьте здоровы!

DevOps Digest #36

В выпуске:
- Kubernetes 1.22
- NSA released k8s hardening guidance
- DigitalOcean managed MongoDB
- releases from Grafana Labs
- RDS now supports Graviton instances
- Kubernetes Pod Security Admission
- largest DDOS ever.

https://dou.ua/forums/topic/34869/