Long-term datastore for Prometheus:
(starting points)

▶️ https://github.com/improbable-eng/thanos
- additional storage implementation: AWS S3, Google Cloud Storage

▶️ https://github.com/cortexproject/cortex
- patched Prometheus setup with new storage features

Learn HashiCorp: how to provision, secure, connect, and run any infrastructure for any application.

Пока только Vault, но скоро будут и остальные сервисы.

https://learn.hashicorp.com/

Это фиаско, братан: IBM покупает Red Hat за $34 млрд

И вероятно, это не очень хорошая новость: куча опенсорса также переходит под управление IBM. Судя по всему, команда разработки тоже переходит в IBM.

Интересно понаблюдать за Ansible - это будет показательное выступлене. Что в результате сделает IBM и как это повлияет на нас с вами.

Нажамкайте плиз пальцев вверх, если нравится эта новость, и краба - если нет.

https://techcrunch.com/2018/10/28/ibm-to-buy-red-hat-for-34b-in-cash-and-debt-taking-a-bigger-leap-into-hybrid-cloud/

В прошлый раз на XPdays Пол Стек приехал подрихтованным: фингал под глазом, нет переднего зуба, и распухшее лицо.

Оказывается, что это его начистили в Киевском баре: сказал, что Nomad лучше. 😂

В этом году он тоже будет защищать честь Hashicorp (он там работал), и я буду 100% - просто обязан это увидеть 🙂

Про XPdays можно сказать много хорошего: топовые спикеры, среди которых сам Mikalai Alimenkou (организатор), там будут выступать ребята из моей компании (привет Ярик и Женя), отработанные организационные моменты и много чего еще.

Я ограничусь вот чем: если я за день не узнал ничего нового, то день прошел зря. XPdays дает фору на пару недель вперед. Обожаю такие штуки, когда можно качнуться за короткий период времени 🔥

Билеты: https://xpdays.com.ua/registration/
Промо на 10%: DEVOPSENG_SYDPX_18

Если так сложилось исторически, что есть cron для чего либо, и его нужно менеджить, то лучше уже костылить полностью:

https://kray.me/2018/10/cron_monitoring_in_slack/

- для тех, кто рестартить сервис в кроне, который с memory leak
- для тех, кто стартует сервис в кроне, потому что тот постоянно падает
- для тех, кто запускает какие-то джобы приложения из крона

Накидайте плиз в личку (@mukolaich) как ризолвить такие штуки, а вечером расшарим инфу 🙂

Моя версия:
👉 https://aws.amazon.com/lambda - если AWS
👉https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/ - если кубер
👉https://github.com/mcuadros/ofelia - если докер

👆варианты от подписчиков:

🔹 если нельзя отказаться, лучше уже systemd cron: https://medium.com/horrible-hacks/using-systemd-as-a-better-cron-a4023eea996d
🔹 для рестарта бажных сервисов можно попробовать очень олдскульный монит: https://mmonit.com/
🔹 если нельзя даже systemd cron, то лучше накрутить сверху мониторинг: https://github.com/jamesrwhite/minicron и хоть как-то можно жить
🔹 и еще можно супервизор, он тоже в почете: https://supervisord.org/

Спасибо, ребят! ❤️

Вот он, легендарный Пол Стек с прошлой конференции:
https://www.youtube.com/watch?v=I3g_BfbGeHg

👆 рекомендую послушать на фоне, и обязательно вопросы в конце - очень классные и вопросы, и ответы)

И прийти офлайн на XPdays 2018, для того чтобы задать вопросы лично:
https://xpdays.com.ua/speaker/paul-stack-4/

Конференция будет 7-8 декабря в Киеве, и я договорился c @xpinjection разыграть билет на конфу среди наших подписчиков. О формате мы еще думаем 🙂

Обновляемся, зарелизился Prometheus 2.5.0:
https://github.com/prometheus/prometheus/releases/tag/v2.5.0

Release notes:
https://github.com/prometheus/prometheus/blob/master/CHANGELOG.md#250--2018-11-06

По быстрому:
- починили мемори лики в Remote Read
- добавили кучу метрик
- научились работать с Marathon 1.5+
- добавили в UI корректировку синтаксиса
- и еще метрик добавили 😂

Классная тема подъехала в Linkerd 2.1:
https://twitter.com/linkerd/status/1060693123959930885

И под вечер апдейт AWS: теперь можно использовать свои блоки IPv4 адресов 😱

Самый оптимальный юз кейс:

If your applications are using trusted IP addresses that your partners and customers have whitelisted in their firewalls, you can now move these applications to AWS without requiring your partners and customers to change their IP address whitelists

Новость: https://aws.amazon.com/about-aws/whats-new/2018/10/announcing-the-general-availability-of-bring-your-own-ip-for-amazon-virtual-private-cloud/

Дока: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-byoip.html

Хороших выходных, ребят 😁

The State of the Octoverse: top programming languages of 2018

Аналитика от Github: кто регистрируется, на чем пишут, какие репозы растут и т.д.

Быстрый обзор:
- больше всего новых юзеров приходит с US, China, India
- больше всего из новых юзеров контрибьютят чуваки из Hong Kong, Singapore, Egypt, Nigeria (хмммм)
- самый популярный реп 2018 это Microsoft/vscode - 19к контрибьюторов
- из больших компаний по контрибьюшнам в open source: Google на втором месте
- если появляется новый реп, то скорее всего ему прилепят тег react
- количество людей которые пишут на Go увеличилось в 1,5х, а PowerShell - 1.7x 😂

https://blog.github.com/2018-11-15-state-of-the-octoverse-top-programming-languages/

Пару лет назад, на собеседовании, СТО одной компании категорически парировал: чувак, там не так и прикольно, у нас есть все то же самое! Мы общались о Силиконовой долине, стартапах, трендах и развитии.

Конечно, я не понял.

Много лет для меня California, отдельно San Francisco и сама Долина была чем-то параллельным: вроде существует, но я к этому отношения не имею. Но ощущение не покидало: там реально лучше технологии, быстрее развитие, более передовые решения и вообще, о чем мы! Это же самое технологическое место в мире! Kubernetes там с хорошей документацией, Docker не залипает и AWS не падает. И вообще, если что-то делать в долине, то это сразу аптайм 100% и пачки бабла в лицо ...

Посмотрите, это доклад LUN.UA: https://www.youtube.com/watch?v=FtDDxvdNKjs

И вот теперь я понял.

Посмотрите, это митап по Kubernetes от AnchorFree: https://www.meetup.com/Kubernetes-Kyiv/events/255943460/

Ярослав Молочко делает их лучше, чем те, на которых я был в Калифорнии.

Хорошего вечера, ребят 🙈


(Тим Урбан доказал, что преуспевают те, кто выкладывается больше - смотрите доклад от LUN прямо сейчас, а не с понедельника)

Совет дня: проверьте защиту на кубер кластерах

Обратите внимание на etcd: если он сконфигурен без TLS и смотрит в мир (вдруг, случайно), то там будет много критически важных данных, и с write правами можно сделать практически все 😱

⬇️ Гайд, который поможет сделать правильно и ничего не пропустить:
https://kubernetes.io/blog/2018/07/18/11-ways-not-to-get-hacked/

От подписчика:

https://hackernoon.com/8-devops-trends-to-be-aware-of-in-2019-b4232ac8f351
Все супер, подростаем 👍 Kubernetes, DevSecOps, etc

https://blog.gruntwork.io/5-lessons-learned-from-writing-over-300-000-lines-of-infrastructure-code-36ba7fadeac1
Какие тулзы выбирать в 2k19, тестировать обязательно и деплой процесс инфраструктуры 😎

Ребят, кто на XPdays - сходите на этот доклад (рекомендую)🔥:

SLA, SLO, SLI, Error budgets, or how to keep calm and do your job - Yaroslav Molochko

https://xpdays.com.ua/programs/sla-slo-sli-error-budgets-or-how-to-keep-calm-and-do-your-job/

Нативный Docker Compose on Kubernetes

Как-то пролетела новость, и никто не заметил. Раньше делали как: генерили кубер манифесты из компоуз файлов, с помощью, например, Kompose.

Наконец Docker расчехлились, и уже практически официально этим решением депрекейтнули Docker Swarm. Они напилили нативный контроллер, который позволяет применять compose манифесты в кубер.

Вот, смотрите:
https://blog.docker.com/2018/12/simplifying-kubernetes-with-docker-compose-and-friends/

Репа на гитхабе:
https://github.com/docker/compose-on-kubernetes

В общем, у кого compose (омг) или Swarm в проде - можно безболезненно пересесть в k8s как первый шаг в процессе миграции.

Это будет очень полезно ребятам, у которых мало инженерных ресурсов, но есть огромное желание в k8s.

Как новость?)

Consul Connect: TLS + сайдкар прокси из коробки

Ребята, смотрите какая крутая тема для service-to-service коннектов:
- забирает инфу из Consul
- делает sidecar proxy
- умеет TLS из коробки

Что это значит: можно ходить внутри сети, или через интернет, секурно (mTLS). Из коробки.

Выпиливайте мануальные туннели на haproxy/nginx 🔥

https://www.consul.io/docs/connect/index.html

Буду краток: с Новым Годом!

Envoy proxy: отличная тема, даже без кубера 🔥

Envoy - это L4/L7 proxy, раньше был в Lyft, а теперь - CNCF.
https://github.com/envoyproxy/envoy

Он позволяет легко и быстро построить service-to-service, front proxy или double proxy (или даже все в месте). Вот, например, так:
https://www.envoyproxy.io/docs/envoy/latest/intro/deployment_types/double_proxy

Конфигурация кажется немного запутанной, но через пару часов все ясно и понятно - намного проще и быстрее чем HAproxy/nginx, etc.

Пример double proxy конфигурации:
https://github.com/envoyproxy/envoy/blob/master/configs/envoy_double_proxy_v2.template.yaml

Он очень классно интегрируется с Consul (в том числе как communication bus для Consul Connect), и может динамически слушать порты, строить роуты, делать всякую магию, которую в случае с HAproxy/nginx нужно было решать всякими ужасными темплейтами и генерацией конфигурации.

Все вы знаете реализацию Envoy внутри Istio, но кто хочет попроще или не в k8s - можно брать просто Envoy.

Из сомнительных моментов могу упомянуть:
▶️ Если хотите запустить несколько Envoy контейнеров на одной ноде, нужно передавать дополнительный параметр - иначе не будет работать:
https://www.envoyproxy.io/docs/envoy/latest/operations/cli#cmdoption-base-id
▶️ Prometheus exporter встроен прямо в Envoy, но с оговорками. Путь - /stats/prometheus (what?, почему не /metrics, или почему даже редиректа нету?), и второй момент - метрики отдаются через админский интерфейс, а он не защищен. Вот issue:
https://github.com/envoyproxy/envoy/issues/2763 - должны сделать.

Мы сейчас как раз в процессе внедрения, пока что впечатления крайне положительные, могу рекомендовать 🙂

И еще расшарю для вас gist с relabel_configs для prometheus, который берет таргеты из Consul:
https://gist.github.com/Mykolaichenko/9ab505876237999466a6e3b506ef598a