интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Интересная статья о том как сисадмин перешел с перла на го и почему. https://syslog.me/2017/12/04/perl-to-go/

Вчера вышел в релиз containerd 1.0 (https://github.com/containerd/containerd/releases/tag/v1.0.0). Встречайте через пару месяцев в всех продакшенах.

Вышла в свет прокся дла docker.sock https://github.com/buildkite/sockguard

Основная задача — ограничить права на докер, если вам уж понадобилось зачем-то пробрасывать сокет внутрь контейнера.

Тула пока еще в альфе, но присмотреться стоит.

Сегодня в рассылке hangops weekly увидел ссылку на достаточно древний дашборд от Netflix - vector

Обычно все складывают метрики в какую-то базу данных, а потом отображают их при помощи какой-то графаны, а netflix предлагают не сохранять метрики, потому что это долго и дорого, а смотреть прямо с хоста, без задержек на сохранение. Идея интересная и в целом вектор смотрится как netdata, но для большого количества серверов. Правда нетдата посимпатичнее и в целом поддерживает большее количество расширений.

Кстати, я вот подумал что можно принимать крипту на развитие сообщества и фигачить потом футболки и наклейки. Ну и еще что-то придумать. Мож митапы какие-то провести.

Пока завел два кошелька ETH: 0xc989e3b463c63e6554f9e10e68de120e3d7411ef
BTC: 33pjWWzJJTxMTG62vszBUttxfhF5gHS42g

Посмотрим как это будет работать. Пока нет ничего конкретного, но мне предложили завести, так как несколько людей очень хотят задонатить, но не знают как 🙂

Кстати, в чатике спросили как перевести если есть только карта: можно воспользоваться любой биржей из гугла. Например самая популярная https://exmo.com (я тут задумался что так можно рекламу впихивать незаметно, лол)

Немного новостей от AWS (дайджеста ради):

- Amazon ECS теперь поддерживает Windows контейнеры. Поддержка до этого была в бета-версии

- io1 волумы можно розганять до 32,000 IOPS и 500 MB/s per volume

- Aurora теперь HIPAA Compliant

- Резилнулся Route 53 Naming API, который упрощает управление DNS для микросервисов, когда те скейлятся (вверх или вниз)

- Релизнулся AWS SSO - Single Sign In. Ну об этом уже многие писали

- Managed ElasticSearch обновили до версии 6.0

- Теперь можно кастомизировать верфикацию email в SES. Ну чтобы вы кастомерам вскую недописанную фигню не слали

- AWS нотифает, когда вы подходите к лимиту Free Tier. Ну об этом я уже тоже писал

- Можно делать кластерные проверки в CloudWatch

Пока писал, задумался, что Безос долетит до Марса раньше Маска...

#aws

в DevOps weekly пришла ссылка на тест китчен для терраформа: https://newcontext-oss.github.io/kitchen-terraform/

test kitchen это фреймворк для тестирования шефовских кукбуков, изначально. Для тераформа подойдет всем, кто пишет свои модули. А в повседневной жизни штука, конечно, скорее бесполезная.

перевод:

- Как дела?
- Я запустил source .bash_history вместо source .bash_profile

Коротенький гайд по пост мортемам от pager duty

Если коротко, то постмортем нужен для того чтобы не совершать одни и те же ошибки.

Делайте блеймлесс постмортемы, потому что вы не хотите чтобы все перекидывали ответственность друг на друга и маскировали свою вину, а хотите чтобы все эффективно подключались на всех уровнях и исправляли ошибки.

Сам постмортем должен состоять из определения причины неполадок (root cause), списка действий, которые были совершены и определения урона, которые нанесли неполадки.

Вышла новая версия netdata - тулы для мониторинга сервера. Отличается от всяких там графан тем, что скорее ориентирована на небольшое количество серверов.

В новой версии - снапшоты (можно сохранить и потом посмотреть), экспорт в PDF, в целом стало побыстрее и фильтрация доступа по IP.

Подводим итоги года 2017 для DevOps.

Основные новости:
Перевод AWS на посекундную тарификацию
релиз Mobyproject
k8s ползущий везде где можно(скорее процесс, а не событие), docker+k8s
bare metal в AWS
большая пачка обновлений от hashicorp + raft 3
terraform 0.11 версии, где apply включает plan и можно план уже не запускать
новый графит вышел, кстати
новый Elasticsearch
Кафка стала 1.0


Я точно помню было что-то еще. Заходите в чат и отпишите 🙂

С Новым Годом, девопсы! Безбажных деплоев и контейнеров с пивом!

Насколько глубока кроличья нора?

Вчерашний hole с процессорма обростает новыми подробностями. Во-первых, это серьезный аппаратный косяк, это значит, что затронуты вообще все вычислительные устройства: будь то сервера или смартфоны. Да, ARM тоже, но тут начинаются нюансы:

На самом деле существует 2 проблемы с кодовыми именами Meltdown (Intel) и Spectre (Intel, AMD, ARM), которые, не вдаваясь в подробности, позволяют сделать одно и то же: пользовательскому процессу попасть в системную память. Возможные варианты атаки рассмотрели в этой статье от Google

Если нет времени читать большую статью от Google или whitepapers по каждой из уязвимостей, вот очень краткая выжимка по каждой из них

Кроме того, тезисно проблема описана в этом Твиттер треде

Теперь о близком нам: AWS и Azure уже приняли меры, что для пользователей вылилось в forced reboots. Amazon говорит что почти весь их парк уже пропатчен. В Google Cloud заявляют что со своей стороны они пропатчились и ребуты не нужны.
Однако, пользователям всё равно придётся патчить гостевые ОС самостоятельно вне зависимости от провайдера.

Фикс: фикс уже готов, пользовательские обновления, как и говорилось, стоит ждать к середине Января. Плохая новость тут в том, что фикс ухудшит производительность CPU. Конкретные цифры очень зависят от задач, но цифры существенные: от 5% до 30% (возможно и больше)

И если вы уже собирались выдохнуть, то ещё рано. Mozilla подтвердили, что атака с использованием вышеупомянутых уязвимостей возможна через вэб контент

Счастливого Рождества!

UPD: забыл, собственно, whitepapers добавить: https://spectreattack.com/

P.S.: думаю, для упрощения подведения итогов в конце года, надо ввести какой-то хэштег. И эти новости definitely #2018

#security #2k18

Хорошая статья о уязвимостях на русском. https://medium.com/@vasiliygalkin/spectre-meltdown-dc560302c356

nmc скинул интересную статью: Docker INC is dead. В двух словах: пусть докер и крутая компания, но в 2017 они сделали много странных вещей:

ошибки в HR, странно отыграли от кубернетиса и теперь кубернетис нанес большой урон докеру, выпустили моби (никто так и не понял зачем).

В твиттере увидел годную инструкцию по командной строке. Главное что короткую. https://github.com/jlevy/the-art-of-command-line/blob/master/README-ru.md

Антон Кошевой скинул интересный перевод статьи 2002 года о том как проводить интервью. В целом очень неплохо написано и почитать однозначно стоит. https://russian.joelonsoftware.com/Articles/Interviewing.html

Тут недавно амазон анонсировал поддержку Go в лямбде. https://aws.amazon.com/blogs/compute/announcing-go-support-for-aws-lambda/

Похоже это победа 🙂