Amazon обьявили что теперь все их сервисы которые были доступны как внешние могут быть доступны как внутренние из вашего VPC при использовании PrivateLink. Отличная новость и наконец-то.

У меня сегодня филиал телеканала "Культура".

А всё потому что Brendan Gregg написал статью о Brilliant Jerks. Мне кажется, более-менее точный перевод на русский звучит как "Прекрасный мудак"

И сразу же паравозом ещё пару статей:

- о том, что можно вести себя, как мудак неосознанно
- продолжение истории
- критика двух предыдущих статей. Смысл в том, что если человек мудаком не был, но в вышем окружении стал, доля вины лежит и на вас

Это всё подводит ко второму выпуску телеканала "Культура", который уже, наверное, будет вечером

#culture

Полезняха от Антона @astlock Кошевого: гайзы, у кого макбук с тачбаром и тачид! Добавьте строку auth sufficient pam_tid.so в /etc/pam.d/sudo и sudo теперь можно анлочить пальцем!

Не прошло и пол года (на самом деле прошло), а Amazon сделали более-менее нормальный редактор для IAM policy. Встречайте анонс: https://aws.amazon.com/blogs/security/use-the-new-visual-editor-to-create-and-modify-your-aws-iam-policies/

Вышел интересный тулкит для хаос тестирования разных инфраструктур https://chaostoolkit.org/

Я еще не смотрел. Если коротко, то хаос тестирование это ломай все что сможешь в случайное время. Твоей инфраструктуре должно быть все равно на любые поломки. Более детально с принципами можно ознакомиться тут: https://principlesofchaos.org/

Я очень люблю читать stories of failure. Потому что на них можно учиться: как писал классик, все зелёные билды похожи друг на друга, но каждый красный билд падает по-своему.

Компания Saltside опубликовала историю провала при миграции в Kubernetes. При этом они не опускают руки и даже спрашивают помощь у коммьюнити

#kubernetes

Вышла в свет интересная утилита для управления овнершипом инстансов и IAM политиками в AWS даже если у вас несколько аккаунтов: https://github.com/RiotGames/cloud-inquisitor

Кроме этого тула умеет присасываться к логам и даже какие-то простенькие чеки.

Amazon открыл public preview новых типов инстансов - i3.metal. Как можно догадаться из названия это bare metal, 2xE5-2686v4 (сумарно 36 ядер или 72 потока), 512GB Ram, 15.2TB Local NVMe SSD, 25 гбит сеть. Вся остальная инфраструктура, включая Auto Scaling продолжит работать с ними как будто это стандартные виртуалки в облаке.

Подробности: https://aws.amazon.com/blogs/aws/new-amazon-ec2-bare-metal-instances-with-direct-access-to-hardware/

#aws #baremetal #hosting #ec2

Google выпустила нативный балансер для кубернетис: https://github.com/google/metallb

Из минусов что для использования вам в вашей сети будут нужны роутеры, которые поддерживают BGP.

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Интересная статья о том как сисадмин перешел с перла на го и почему. https://syslog.me/2017/12/04/perl-to-go/

Вчера вышел в релиз containerd 1.0 (https://github.com/containerd/containerd/releases/tag/v1.0.0). Встречайте через пару месяцев в всех продакшенах.

Вышла в свет прокся дла docker.sock https://github.com/buildkite/sockguard

Основная задача — ограничить права на докер, если вам уж понадобилось зачем-то пробрасывать сокет внутрь контейнера.

Тула пока еще в альфе, но присмотреться стоит.

Сегодня в рассылке hangops weekly увидел ссылку на достаточно древний дашборд от Netflix - vector

Обычно все складывают метрики в какую-то базу данных, а потом отображают их при помощи какой-то графаны, а netflix предлагают не сохранять метрики, потому что это долго и дорого, а смотреть прямо с хоста, без задержек на сохранение. Идея интересная и в целом вектор смотрится как netdata, но для большого количества серверов. Правда нетдата посимпатичнее и в целом поддерживает большее количество расширений.

Кстати, я вот подумал что можно принимать крипту на развитие сообщества и фигачить потом футболки и наклейки. Ну и еще что-то придумать. Мож митапы какие-то провести.

Пока завел два кошелька ETH: 0xc989e3b463c63e6554f9e10e68de120e3d7411ef
BTC: 33pjWWzJJTxMTG62vszBUttxfhF5gHS42g

Посмотрим как это будет работать. Пока нет ничего конкретного, но мне предложили завести, так как несколько людей очень хотят задонатить, но не знают как 🙂

Кстати, в чатике спросили как перевести если есть только карта: можно воспользоваться любой биржей из гугла. Например самая популярная https://exmo.com (я тут задумался что так можно рекламу впихивать незаметно, лол)

Немного новостей от AWS (дайджеста ради):

- Amazon ECS теперь поддерживает Windows контейнеры. Поддержка до этого была в бета-версии

- io1 волумы можно розганять до 32,000 IOPS и 500 MB/s per volume

- Aurora теперь HIPAA Compliant

- Резилнулся Route 53 Naming API, который упрощает управление DNS для микросервисов, когда те скейлятся (вверх или вниз)

- Релизнулся AWS SSO - Single Sign In. Ну об этом уже многие писали

- Managed ElasticSearch обновили до версии 6.0

- Теперь можно кастомизировать верфикацию email в SES. Ну чтобы вы кастомерам вскую недописанную фигню не слали

- AWS нотифает, когда вы подходите к лимиту Free Tier. Ну об этом я уже тоже писал

- Можно делать кластерные проверки в CloudWatch

Пока писал, задумался, что Безос долетит до Марса раньше Маска...

#aws

в DevOps weekly пришла ссылка на тест китчен для терраформа: https://newcontext-oss.github.io/kitchen-terraform/

test kitchen это фреймворк для тестирования шефовских кукбуков, изначально. Для тераформа подойдет всем, кто пишет свои модули. А в повседневной жизни штука, конечно, скорее бесполезная.

перевод:

- Как дела?
- Я запустил source .bash_history вместо source .bash_profile

Коротенький гайд по пост мортемам от pager duty

Если коротко, то постмортем нужен для того чтобы не совершать одни и те же ошибки.

Делайте блеймлесс постмортемы, потому что вы не хотите чтобы все перекидывали ответственность друг на друга и маскировали свою вину, а хотите чтобы все эффективно подключались на всех уровнях и исправляли ошибки.

Сам постмортем должен состоять из определения причины неполадок (root cause), списка действий, которые были совершены и определения урона, которые нанесли неполадки.