В пасмурную субботу вылезать из-под одеяла совсем не хочется: можно и почитать что-то

Вот, например, список тематических книг о разных аспектах DevOps, с кратким тезисным описанием, про что каждая и ссылками, где достать

https://github.com/chris-short/DevOps-README.md

#education #books

Сравнение SSH и OpenVPN для туннелирования. Хотя сравнивать эти два решения не совсем корректно, туннели действительно можно строить обеими вариантами. Хотя, если вам необходим туннель лишь на один порт, выгода SSH очевидна. Кроме того, можно исползовать Sshuttle — как написал сам разработчик — VPN для бедных

И бонусом: tinyFecVPN — VPN решение для тех у кого бедное соединение (к сожалению, игра слов очевидна только в английском). tinyFecVPN исользует кодирование Рида-Соломона для исправления ошибок в сетях с потерями за счёт пропускной способности. Аж реально захотелось потестировать это чудо где-нибудь на даче с еле живым 3G интернетом через антенну из кофейной банки

#vpn #tunneling

Я очень люблю читать stories of failure. Потому что на них можно учиться: как писал классик, все зелёные билды похожи друг на друга, но каждый красный билд падает по-своему.

Компания Saltside опубликовала историю провала при миграции в Kubernetes. При этом они не опускают руки и даже спрашивают помощь у коммьюнити

#kubernetes

Уже писали про фичи в грядущем HAProxy 1.8, а он уже взял и вышел

Скачать можно на официальном сайте

Из нового:
— поддержка протокола HTTP/2;
— динамическое обновление списка бекендов из DNS SRV или A записей;
— поддержка мультипоточного режима работы;
— HTTP кеширование

Остальные изменения можно посмотреть по первой ссылке

#haproxy

И далее о HAProxy, у которого позавчера релизнулась новая версия

Одна из самых классных фич в новом релизе - возможность делать действительно flawless reload без дополнительных хаков. Почитать про историю этих хаков и путь к безопасному релоаду можно тут:

https://www.haproxy.com/blog/truly-seamless-reloads-with-haproxy-no-more-hacks/

Эту тему уже затрагивали ребята из Дайджеста Украинских ДевОпсов (https://t.iss.one/UkropsDigest/81)
Там хорошая статья от GitHub о том, почему haproxy им тогда не подошёл

#haproxy

Конечно, на фоне Amazon re:Invent куча новостей по AWS

Думаю, практически все уже слышали про то, что открыли превью для AWS EC2 Bare Metal Instances. Краткие харакеристики:

- Processing – Two Intel Xeon E5-2686 v4 processors running at 2.3 GHz, with a total of 36 hyperthreaded cores (72 logical processors).
- Memory – 512 GiB.
- Storage – 15.2 terabytes of local, SSD-based NVMe storage.
- Network – 25 Gbps of ENA-based enhanced networking.

Но не только Bare Metal единым! Вышли обновления для PrivateLink для связки сервисов AWS по приватной сети.

В AWS появился месседж-брокер на базе Apache Active MQ. Называется, внезапно, Amazon MQ

Ну и вслед за C5 потихоньку начинают выкатывать следующие поколения инстансов других типов. Например, стали доступными M5 включая огромные m5.24xlarge (general purpose) и H1(dense storage) для работы с данными

#aws

А ещё Jeff Barr покрасился, отак от

https://twitter.com/jeffbarr/status/934237058289213440

Ещё один туториал по Python

Говорят, хороший. По крайней мере был в трендах Hackernews

#python #education

Недавно же чёрная пятница была, все дела

По этому поводу на Udemy скидки по 70% Ещё пару часов будут доступны

Посмотрите, может, что-то полезное найдёте. Я лично 3 курса прикупил. Пока рекомендовать конкретные не буду -- пройду, а там посмотрим

https://www.udemy.com

Так-так-так...

Давайте подытожем, что же вчера Amazon представили на своём re:Invent:

- Amazon MQ — месседж-брокер на основе Active MQ.
Анонс
Описание

- EC2 Bare Metal Instacnes
Анонс
Описание
Пресс-релиз

- Новый storage optimized H1 тип инстансов:
Анонс
Описание
Пресс-релиз

- Новое поколение general purpose инстансов — M5:
Анонс
Описание
Пресс-релиз

- Amazon Neptune - менеджед граф-БД:
Описание

- Поддержка гибернации для Spot-инстансов
Анонс
Описание

- Изменения в ценовой политике по поводу Spot-инстансов
Анонс
Описание

- Array Jobs для AWS Batch: теперь можно запускать до 10 000 задач одним запросом:
Анонс

- Можно брендировать AWS Console под свою компанию, так же некоторые изменения для enterprice контрактов. В общем, ask your account manager

- AWS AppSync — менеджем GraphQL:
Анонс
Описание

- Изменения для AWS PrivateLinkЖ
Анонс
Описание
Пресс-релиз

- Amazon API Gateways теперь поддерживают Canary Release деплой:
Анонс

- Новые секьюрити фичи для Amazon Cognito:
Анонс

- Amazon GuardDuty — сервис для анализа безопасности
Анонс
Описание
Пресс-релиз

Таки пропустил, спасибо @dmitrysidorov за наводку:
- Amazon Elastic Container Service for Kubernetes aka AKS:
https://aws.amazon.com/blogs/aws/amazon-elastic-container-service-for-kubernetes/

Если ещё что-то пропустил, напишите мне, плз на @grem1in
Огромное спасибо коллегам, с которыми я не знаком, но они собрали это всё воедино и запостили в общую рассылку!

#aws #event

Вдогонку к саммри по AWS:

- AWS Fargate — технология, которая позволяет использовать контейнер, как минимальную вычислительную единицу и не париться, что происходит "под ним" (via @otakusid)
Описание

- AWS S3 Select — SQL select для S3 и Glacier (via @otakusid)
https://aws.amazon.com/blogs/aws/s3-glacier-select/

- T2 Unlimited инстансы. Суть та же, что с Elastic File System, только с CPU performance
Описание

#aws

UPD по базам данных:

- Master-master Aurorа, при чём мастера можно делать в разных AZ:
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-multi-master/

- Serverless Aurora: БД скейлится в зависимости от нужд приложения. Как говорят, больше нет необходимости менеджить сами инстансы под БД
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-serverless

- DynamoDB Global Tables: мультирегиональная NoSQL DB
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-global-tables

- DynamoDB Backup & Restore: можно полностью забэкапить свою DynamoDB по запросу
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-backup-and-restore

#aws

И опять AWS!

Теперь можно пирить VPC из разных регионов!

https://aws.amazon.com/about-aws/whats-new/2017/11/announcing-support-for-inter-region-vpc-peering/

#aws

​​И ещё немного про AWS.

Brendan Gregg написал статью про эволюцию виртуализации AWS Кроме того, там есть диаграмма, которая показывает производительность каждого типа виртуализации

И вдогонку его же слайды с AWS re:Invent о том, как в Netflix тюнили EC2 инстансы:

https://www.slideshare.net/brendangregg/how-netflix-tunes-ec2-instances-for-performance

#aws #slides

Я понимаю, что вы уже немного подустали от новостей AWS

Поэтому предлагаю почитать о необычной миграции: из Google Cloud в Digital Ocean

https://lugassy.net/goodbye-google-cloud-hello-digital-ocean-a4ca1c8b7ac8

А вот и видео с AWS re:Invent подогнали:

https://www.youtube.com/user/AmazonWebServices/playlists

Amazon пока что, наверное, самые быстрые в этом плане. Ещё и по тематическим плейлистам разложили: вообще красота!

#aws #slides

Занятная статья от Aerospike про тюнинг сети для Amazon EC2 инстансов (а XDR у Aerospike трафика гоняет дай боже!)

https://www.aerospike.com/blog/boosting-amazon-ec2-network-for-high-throughput/

Они пришли, во-первых, к тому, что запускать Aerospike лучше всего на r3 типе инстансов.

Во-вторых, на производительность сети на инстансах до 4xlarge тюнтнг с помощью Receive Packet Steering (RPS) даёт приблизительно такой же прирост производительности, как подключение нескольких Elastic Network Interfaces. А вот на более "толстых" инстансах несколько ENI уже куда эффективней RPS

#aerospike #networking #database #aws

Аудиодоклад (подкаст?) про мониторинг и кэширование в Twitter от Yao Yue:

https://www.infoq.com/podcasts/yao-yue-twitter-cache#.WcFKf0WTZUU.twitter

Если вам интересны какие-то конкретные вопросы, там указаны тезисы и временная метка на которой их проговаривают. Удобно, если нет желания слушать все полчаса

#monitoring