Началась открытая трансляция главного зала конференции highload++ в Москве. Хотя лично я советовал бы купить билет на онлайн трансляцию, потому что в девопс зале тоже должно быть очень интересно. https://www.youtube.com/watch?v=BlDK2KKKYc8

На CatOps опубликовали интересный пост о SO_REUSEPORT (https://t.iss.one/catops/329). Собственно хочу в догонку скинуть старый пост из github о том что не все так хорошо с SO_REUSEPORT на примере Haproxy.

Если коротко, то между прекращением приема сообщений и закрытием сокета может пройти какое-то время (несколько миллисекунд) и все подключения за этот период будут сброшены, потому что старый демон их уже не обрабатывает, но еще не закрыл сокет.
Вариант решения от Haproxy — дропать syn запросы на этот период. Вариант решения от GitHub (и nginx) использовать отдельный демон, который будет держать сокет открытым.

Рубрика “новости из слака, канал дарк сайд”

Amazon обьявили что теперь все их сервисы которые были доступны как внешние могут быть доступны как внутренние из вашего VPC при использовании PrivateLink. Отличная новость и наконец-то.

У меня сегодня филиал телеканала "Культура".

А всё потому что Brendan Gregg написал статью о Brilliant Jerks. Мне кажется, более-менее точный перевод на русский звучит как "Прекрасный мудак"

И сразу же паравозом ещё пару статей:

- о том, что можно вести себя, как мудак неосознанно
- продолжение истории
- критика двух предыдущих статей. Смысл в том, что если человек мудаком не был, но в вышем окружении стал, доля вины лежит и на вас

Это всё подводит ко второму выпуску телеканала "Культура", который уже, наверное, будет вечером

#culture

Полезняха от Антона @astlock Кошевого: гайзы, у кого макбук с тачбаром и тачид! Добавьте строку auth sufficient pam_tid.so в /etc/pam.d/sudo и sudo теперь можно анлочить пальцем!

Не прошло и пол года (на самом деле прошло), а Amazon сделали более-менее нормальный редактор для IAM policy. Встречайте анонс: https://aws.amazon.com/blogs/security/use-the-new-visual-editor-to-create-and-modify-your-aws-iam-policies/

Вышел интересный тулкит для хаос тестирования разных инфраструктур https://chaostoolkit.org/

Я еще не смотрел. Если коротко, то хаос тестирование это ломай все что сможешь в случайное время. Твоей инфраструктуре должно быть все равно на любые поломки. Более детально с принципами можно ознакомиться тут: https://principlesofchaos.org/

Я очень люблю читать stories of failure. Потому что на них можно учиться: как писал классик, все зелёные билды похожи друг на друга, но каждый красный билд падает по-своему.

Компания Saltside опубликовала историю провала при миграции в Kubernetes. При этом они не опускают руки и даже спрашивают помощь у коммьюнити

#kubernetes

Вышла в свет интересная утилита для управления овнершипом инстансов и IAM политиками в AWS даже если у вас несколько аккаунтов: https://github.com/RiotGames/cloud-inquisitor

Кроме этого тула умеет присасываться к логам и даже какие-то простенькие чеки.

Amazon открыл public preview новых типов инстансов - i3.metal. Как можно догадаться из названия это bare metal, 2xE5-2686v4 (сумарно 36 ядер или 72 потока), 512GB Ram, 15.2TB Local NVMe SSD, 25 гбит сеть. Вся остальная инфраструктура, включая Auto Scaling продолжит работать с ними как будто это стандартные виртуалки в облаке.

Подробности: https://aws.amazon.com/blogs/aws/new-amazon-ec2-bare-metal-instances-with-direct-access-to-hardware/

#aws #baremetal #hosting #ec2

Google выпустила нативный балансер для кубернетис: https://github.com/google/metallb

Из минусов что для использования вам в вашей сети будут нужны роутеры, которые поддерживают BGP.

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Интересная статья о том как сисадмин перешел с перла на го и почему. https://syslog.me/2017/12/04/perl-to-go/

Вчера вышел в релиз containerd 1.0 (https://github.com/containerd/containerd/releases/tag/v1.0.0). Встречайте через пару месяцев в всех продакшенах.

Вышла в свет прокся дла docker.sock https://github.com/buildkite/sockguard

Основная задача — ограничить права на докер, если вам уж понадобилось зачем-то пробрасывать сокет внутрь контейнера.

Тула пока еще в альфе, но присмотреться стоит.

Сегодня в рассылке hangops weekly увидел ссылку на достаточно древний дашборд от Netflix - vector

Обычно все складывают метрики в какую-то базу данных, а потом отображают их при помощи какой-то графаны, а netflix предлагают не сохранять метрики, потому что это долго и дорого, а смотреть прямо с хоста, без задержек на сохранение. Идея интересная и в целом вектор смотрится как netdata, но для большого количества серверов. Правда нетдата посимпатичнее и в целом поддерживает большее количество расширений.

Кстати, я вот подумал что можно принимать крипту на развитие сообщества и фигачить потом футболки и наклейки. Ну и еще что-то придумать. Мож митапы какие-то провести.

Пока завел два кошелька ETH: 0xc989e3b463c63e6554f9e10e68de120e3d7411ef
BTC: 33pjWWzJJTxMTG62vszBUttxfhF5gHS42g

Посмотрим как это будет работать. Пока нет ничего конкретного, но мне предложили завести, так как несколько людей очень хотят задонатить, но не знают как 🙂

Кстати, в чатике спросили как перевести если есть только карта: можно воспользоваться любой биржей из гугла. Например самая популярная https://exmo.com (я тут задумался что так можно рекламу впихивать незаметно, лол)

Немного новостей от AWS (дайджеста ради):

- Amazon ECS теперь поддерживает Windows контейнеры. Поддержка до этого была в бета-версии

- io1 волумы можно розганять до 32,000 IOPS и 500 MB/s per volume

- Aurora теперь HIPAA Compliant

- Резилнулся Route 53 Naming API, который упрощает управление DNS для микросервисов, когда те скейлятся (вверх или вниз)

- Релизнулся AWS SSO - Single Sign In. Ну об этом уже многие писали

- Managed ElasticSearch обновили до версии 6.0

- Теперь можно кастомизировать верфикацию email в SES. Ну чтобы вы кастомерам вскую недописанную фигню не слали

- AWS нотифает, когда вы подходите к лимиту Free Tier. Ну об этом я уже тоже писал

- Можно делать кластерные проверки в CloudWatch

Пока писал, задумался, что Безос долетит до Марса раньше Маска...

#aws