8-го ноября на базе Microsoft Ukraine пройдёт митап посвященный дню DBA (думаю, пару DBA меня читают😊)

Когда: Среда. 8 ноября 19:00
Где: Microsoft Ukraine. Жилянская 75, 4 этаж

Доклады:

- Один день з життя DBA by Недашківський Євген
- Особенности проектирования и моделирования хранилищ данных (Data Warehouse) by Мастило Николай

#event

Алсо, подъехали видосики с Highload fwdays'17

👆 Там плейлист из 24 видео, но поскольку YouTube не делает адекватных ссылок на плейлисты (или я не знаю как), ссылка на доклад @ctrlok в миру известного как Всеволод Поляков — также автора канала Дайджест Украинских ДевОпсов. Ещё одна хорошая подписка, если вам интересен DevOps в целом и DevOps в Украине в частности

#event #slides

Началась открытая трансляция главного зала конференции highload++ в Москве. Хотя лично я советовал бы купить билет на онлайн трансляцию, потому что в девопс зале тоже должно быть очень интересно. https://www.youtube.com/watch?v=BlDK2KKKYc8

AWS начал выкатывать 5-е поколение инстансов

Пока зарелизили c5 (compute optimized) да и то только в трех регионах: us-west-2 (Oregon), us-east-1 (North Virginia) и eu-west-1 (Ireland)

https://aws.amazon.com/blogs/aws/now-available-compute-intensive-c5-instances-for-amazon-ec2/

Кратко о характеристиках

Рекомендую статью Monitoring and Observability от Cindy Sridharan‏

Там простым языком (английким) объясняется, чем таки мониторинг отличается от "observability" и зачем кому-то нужен ещё один термин.

Написано хорошо, но мы то понимаем. Цитирую:

 I’m an engineer that can help provide monitoring to the other engineers in the organization
> Great, here’s $80k.
I’m an architect that can help provide observability for cloud-native, container-based applications
> Awesome! Here’s $300k!

#monitoring #observability

Cейчас все будут писать про выход Prometheus 2.0 (я тоже напишу, но позже)

Ну суть, я думаю, вы уловили: вышел Prometheus 2.0

Из нового:
- переделали сторейдж. Обещают прирост производительности аж:
= CPU на 20%-40% меньше, чем в версии 1.8
= Место на диске: меньше на 33%-50% в сравнении с 1.8
= I/O и так, говорят, низкое былоек

- Staleness handling (видео презентации с PromCon 2017)

- Можно делать снэпшоты вот прямо всего хранилища

Changelog

Upgrade guide

Ну и, конечно же, бонус! Видосы c PromCon 2017

#monitoring #prometheus

Как сделать инфоповод. Рецепт от Amazon

1. Рассказываем о новом гипервизоре для последнего поколения инстансов, который являет собой перепиленный KVM

Кажется, это репостили вообще все. Начальник моего департамента, вроде, даже дважды (новость на The Register и из блога AWS)

2. Через день убираем всякое упоминание о KVM

Напомню, что AWS очень много инвестировали в Xen и работают с ним давно и плотно

Итак, что мы имеем на выходе: пока комьюнити спорит, а был ли мальчик или это жерналисты и пиарщики чёт попутали, план охвата новостей выполнен с лихвой.

P.S. Я вот завтыкал написать сюда про AWS и KVM и теперь меня вся ситуация ещё больше умиляет. Как говорится: "Не спеши выполнять приказ, его ещё могут отменить". Точно так же и с новостями (включая технические) 😊

#aws

К вопросу о том, жив ли OpenStack и кто с ним работает:

https://techcrunch.com/2017/11/07/why-adobes-advertising-cloud-is-a-private-cloud/amp/

У меня вот было пару выходных и чёт расслабился и ничего сюда не писал. А за выходные немного собралось

Например, публично написали про Amazon EFS. Расшифровуется это как Elastic File System. Они уже давно добавили возможность расширять EBS диски "на лету" без LVM. Но всё равно открытым был вопрос с размером файловой системы. EFS призвана это решить.

А что бы вы не подумали, что AWS мне за посты доплачивают (к сожалению, нет) закину бонусом старую статейку о том, что Provisioned IOPS — это больше маркетинг, чем техническая характеристика

#aws

В версии ядра Linux 3.9 (ага, давно) добавили такую фичу для сокетов как SO_REUSEPORT aka port sharding. Смысл в том, что несколько процессов могут слушать один и тот же порт, а ядро само разрулит, кому что посылать. Ну код должен со своей стороны эту фичу тоже поддерживать, конечно же

Так вот, зачем оно надо? А затем, что можно делать zero-downtime деплой даже не в кластер. Можно даже делать zero-downtime деплой на отдельновзятой машине в кластере. Конечно, это не так актуально, если у вас действительно всё кластеризировано, но всё равно интересно

Небольшая презентация об этом деле с примерами кода на Python и Ruby:
https://speakerdeck.com/joewalnes/linux-port-sharding

#linux

Уточнения от более опытных товарищей

На CatOps опубликовали интересный пост о SO_REUSEPORT (https://t.iss.one/catops/329). Собственно хочу в догонку скинуть старый пост из github о том что не все так хорошо с SO_REUSEPORT на примере Haproxy.

Если коротко, то между прекращением приема сообщений и закрытием сокета может пройти какое-то время (несколько миллисекунд) и все подключения за этот период будут сброшены, потому что старый демон их уже не обрабатывает, но еще не закрыл сокет.
Вариант решения от Haproxy — дропать syn запросы на этот период. Вариант решения от GitHub (и nginx) использовать отдельный демон, который будет держать сокет открытым.

Пока мы обсуждали фичи ядра 3.9, вышла версия 4.14:

https://kernelnewbies.org/Linux_4.14

Amazon обьявили что теперь все их сервисы которые были доступны как внешние могут быть доступны как внутренние из вашего VPC при использовании PrivateLink. Отличная новость и наконец-то.

Я вам сегодня принёс презентацию Carlos Sanchez c Jokerconf об использовании Kubernetes в CI/CD

Скачать можно тут: https://pages.cloudbees.com/l/272242/2017-11-01/5xzmz

Я же в догонку прикреплю сам PDF

#slides #kubernetes

Mesosphere DC/OS стал доступен в Microsoft Azure Marketplace. Mesosphere DC/OS - это набор инструментов по управлению ЦОД-ами. При помощи этой системы, можно в сжатые сроки развернуть, например, набор программного обеспечения для работы в системе Hadoop для БД Cassandra и Accumulo и система управления контейнерами Kubernetes. Очень интересное решение.

https://www.prnewswire.com/news-releases/mesosphere-dcos-now-available-at-microsoft-azure-marketplace-300550516.html

Тем временем

Да, ELK 6 зарелізилась
https://www.elastic.co/blog/elasticsearch-6-0-0-released