И далее о HAProxy, у которого позавчера релизнулась новая версия
Одна из самых классных фич в новом релизе - возможность делать действительно flawless reload без дополнительных хаков. Почитать про историю этих хаков и путь к безопасному релоаду можно тут:
https://www.haproxy.com/blog/truly-seamless-reloads-with-haproxy-no-more-hacks/
Эту тему уже затрагивали ребята из Дайджеста Украинских ДевОпсов (https://t.iss.one/UkropsDigest/81)
Там хорошая статья от GitHub о том, почему haproxy им тогда не подошёл
#haproxy
Одна из самых классных фич в новом релизе - возможность делать действительно flawless reload без дополнительных хаков. Почитать про историю этих хаков и путь к безопасному релоаду можно тут:
https://www.haproxy.com/blog/truly-seamless-reloads-with-haproxy-no-more-hacks/
Эту тему уже затрагивали ребята из Дайджеста Украинских ДевОпсов (https://t.iss.one/UkropsDigest/81)
Там хорошая статья от GitHub о том, почему haproxy им тогда не подошёл
#haproxy
HAProxy Technologies
Truly Seamless Reloads With HAProxy – No More Hacks!
What users often call a “seamless” or “hitless” reload is a configuration update or a service upgrade performed with no impact on user experience.
Конечно, на фоне Amazon re:Invent куча новостей по AWS
Думаю, практически все уже слышали про то, что открыли превью для AWS EC2 Bare Metal Instances. Краткие харакеристики:
- Processing – Two Intel Xeon E5-2686 v4 processors running at 2.3 GHz, with a total of 36 hyperthreaded cores (72 logical processors).
- Memory – 512 GiB.
- Storage – 15.2 terabytes of local, SSD-based NVMe storage.
- Network – 25 Gbps of ENA-based enhanced networking.
Но не только Bare Metal единым! Вышли обновления для PrivateLink для связки сервисов AWS по приватной сети.
В AWS появился месседж-брокер на базе Apache Active MQ. Называется, внезапно, Amazon MQ
Ну и вслед за C5 потихоньку начинают выкатывать следующие поколения инстансов других типов. Например, стали доступными M5 включая огромные
#aws
Думаю, практически все уже слышали про то, что открыли превью для AWS EC2 Bare Metal Instances. Краткие харакеристики:
- Processing – Two Intel Xeon E5-2686 v4 processors running at 2.3 GHz, with a total of 36 hyperthreaded cores (72 logical processors).
- Memory – 512 GiB.
- Storage – 15.2 terabytes of local, SSD-based NVMe storage.
- Network – 25 Gbps of ENA-based enhanced networking.
Но не только Bare Metal единым! Вышли обновления для PrivateLink для связки сервисов AWS по приватной сети.
В AWS появился месседж-брокер на базе Apache Active MQ. Называется, внезапно, Amazon MQ
Ну и вслед за C5 потихоньку начинают выкатывать следующие поколения инстансов других типов. Например, стали доступными M5 включая огромные
m5.24xlarge (general purpose) и H1(dense storage) для работы с данными#aws
Amazon
Amazon EC2 Bare Metal Instances with Direct Access to Hardware | Amazon Web Services
When customers come to us with new and unique requirements for AWS, we listen closely, ask lots of questions, and do our best to understand and address their needs. When we do this, we make the resulting service or feature generally available; we do not build…
Ещё один туториал по Python
Говорят, хороший. По крайней мере был в трендах Hackernews
#python #education
Говорят, хороший. По крайней мере был в трендах Hackernews
#python #education
GitHub
GitHub - norvig/pytudes: Python programs, usually short, of considerable difficulty, to perfect particular skills.
Python programs, usually short, of considerable difficulty, to perfect particular skills. - norvig/pytudes
Недавно же чёрная пятница была, все дела
По этому поводу на Udemy скидки по 70% Ещё пару часов будут доступны
Посмотрите, может, что-то полезное найдёте. Я лично 3 курса прикупил. Пока рекомендовать конкретные не буду -- пройду, а там посмотрим
https://www.udemy.com
По этому поводу на Udemy скидки по 70% Ещё пару часов будут доступны
Посмотрите, может, что-то полезное найдёте. Я лично 3 курса прикупил. Пока рекомендовать конкретные не буду -- пройду, а там посмотрим
https://www.udemy.com
Udemy
Online Courses - Learn Anything, On Your Schedule | Udemy
Udemy is an online learning and teaching marketplace with over 250,000 courses and 80 million students. Learn programming, marketing, data science and more.
Давайте подытожем, что же вчера Amazon представили на своём re:Invent:
- Amazon MQ — месседж-брокер на основе Active MQ.
Анонс
Описание
- EC2 Bare Metal Instacnes
Анонс
Описание
Пресс-релиз
- Новый storage optimized H1 тип инстансов:
Анонс
Описание
Пресс-релиз
- Новое поколение general purpose инстансов — M5:
Анонс
Описание
Пресс-релиз
- Amazon Neptune - менеджед граф-БД:
Описание
- Поддержка гибернации для Spot-инстансов
Анонс
Описание
- Изменения в ценовой политике по поводу Spot-инстансов
Анонс
Описание
- Array Jobs для AWS Batch: теперь можно запускать до 10 000 задач одним запросом:
Анонс
- Можно брендировать AWS Console под свою компанию, так же некоторые изменения для enterprice контрактов. В общем, ask your account manager
- AWS AppSync — менеджем GraphQL:
Анонс
Описание
- Изменения для AWS PrivateLinkЖ
Анонс
Описание
Пресс-релиз
- Amazon API Gateways теперь поддерживают Canary Release деплой:
Анонс
- Новые секьюрити фичи для Amazon Cognito:
Анонс
- Amazon GuardDuty — сервис для анализа безопасности
Анонс
Описание
Пресс-релиз
- Amazon MQ — месседж-брокер на основе Active MQ.
Анонс
Описание
- EC2 Bare Metal Instacnes
Анонс
Описание
Пресс-релиз
- Новый storage optimized H1 тип инстансов:
Анонс
Описание
Пресс-релиз
- Новое поколение general purpose инстансов — M5:
Анонс
Описание
Пресс-релиз
- Amazon Neptune - менеджед граф-БД:
Описание
- Поддержка гибернации для Spot-инстансов
Анонс
Описание
- Изменения в ценовой политике по поводу Spot-инстансов
Анонс
Описание
- Array Jobs для AWS Batch: теперь можно запускать до 10 000 задач одним запросом:
Анонс
- Можно брендировать AWS Console под свою компанию, так же некоторые изменения для enterprice контрактов. В общем, ask your account manager
- AWS AppSync — менеджем GraphQL:
Анонс
Описание
- Изменения для AWS PrivateLinkЖ
Анонс
Описание
Пресс-релиз
- Amazon API Gateways теперь поддерживают Canary Release деплой:
Анонс
- Новые секьюрити фичи для Amazon Cognito:
Анонс
- Amazon GuardDuty — сервис для анализа безопасности
Анонс
Описание
Пресс-релиз
Таки пропустил, спасибо @dmitrysidorov за наводку:
- Amazon Elastic Container Service for Kubernetes aka AKS:
https://aws.amazon.com/blogs/aws/amazon-elastic-container-service-for-kubernetes/
Если ещё что-то пропустил, напишите мне, плз на @grem1in
Огромное спасибо коллегам, с которыми я не знаком, но они собрали это всё воедино и запостили в общую рассылку!
#aws #event
- Amazon Elastic Container Service for Kubernetes aka AKS:
https://aws.amazon.com/blogs/aws/amazon-elastic-container-service-for-kubernetes/
Если ещё что-то пропустил, напишите мне, плз на @grem1in
Огромное спасибо коллегам, с которыми я не знаком, но они собрали это всё воедино и запостили в общую рассылку!
#aws #event
Amazon
Amazon Elastic Container Service for Kubernetes | Amazon Web Services
My colleague Deepak Singh has a lot to say about containers! — Jeff; We have a lot of AWS customers who run Kubernetes on AWS. In fact, according to the Cloud Native Computing Foundation, 63% of Kubernetes workloads run on AWS. While AWS is a popular place…
Вдогонку к саммри по AWS:
- AWS Fargate — технология, которая позволяет использовать контейнер, как минимальную вычислительную единицу и не париться, что происходит "под ним" (via @otakusid)
Описание
- AWS S3 Select — SQL select для S3 и Glacier (via @otakusid)
https://aws.amazon.com/blogs/aws/s3-glacier-select/
- T2 Unlimited инстансы. Суть та же, что с Elastic File System, только с CPU performance
Описание
#aws
- AWS Fargate — технология, которая позволяет использовать контейнер, как минимальную вычислительную единицу и не париться, что происходит "под ним" (via @otakusid)
Описание
- AWS S3 Select — SQL select для S3 и Glacier (via @otakusid)
https://aws.amazon.com/blogs/aws/s3-glacier-select/
- T2 Unlimited инстансы. Суть та же, что с Elastic File System, только с CPU performance
Описание
#aws
UPD по базам данных:
- Master-master Aurorа, при чём мастера можно делать в разных AZ:
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-multi-master/
- Serverless Aurora: БД скейлится в зависимости от нужд приложения. Как говорят, больше нет необходимости менеджить сами инстансы под БД
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-serverless
- DynamoDB Global Tables: мультирегиональная NoSQL DB
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-global-tables
- DynamoDB Backup & Restore: можно полностью забэкапить свою DynamoDB по запросу
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-backup-and-restore
#aws
- Master-master Aurorа, при чём мастера можно делать в разных AZ:
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-multi-master/
- Serverless Aurora: БД скейлится в зависимости от нужд приложения. Как говорят, больше нет необходимости менеджить сами инстансы под БД
https://aws.amazon.com/about-aws/whats-new/2017/11/sign-up-for-the-preview-of-amazon-aurora-serverless
- DynamoDB Global Tables: мультирегиональная NoSQL DB
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-global-tables
- DynamoDB Backup & Restore: можно полностью забэкапить свою DynamoDB по запросу
https://aws.amazon.com/about-aws/whats-new/2017/11/aws-launches-amazon-dynamodb-backup-and-restore
#aws
И опять AWS!
Теперь можно пирить VPC из разных регионов!
https://aws.amazon.com/about-aws/whats-new/2017/11/announcing-support-for-inter-region-vpc-peering/
#aws
Теперь можно пирить VPC из разных регионов!
https://aws.amazon.com/about-aws/whats-new/2017/11/announcing-support-for-inter-region-vpc-peering/
#aws
Amazon
Announcing Support for Inter-Region VPC Peering
И ещё немного про AWS.
Brendan Gregg написал статью про эволюцию виртуализации AWS Кроме того, там есть диаграмма, которая показывает производительность каждого типа виртуализации
И вдогонку его же слайды с AWS re:Invent о том, как в Netflix тюнили EC2 инстансы:
https://www.slideshare.net/brendangregg/how-netflix-tunes-ec2-instances-for-performance
#aws #slides
Brendan Gregg написал статью про эволюцию виртуализации AWS Кроме того, там есть диаграмма, которая показывает производительность каждого типа виртуализации
И вдогонку его же слайды с AWS re:Invent о том, как в Netflix тюнили EC2 инстансы:
https://www.slideshare.net/brendangregg/how-netflix-tunes-ec2-instances-for-performance
#aws #slides
Я понимаю, что вы уже немного подустали от новостей AWS
Поэтому предлагаю почитать о необычной миграции: из Google Cloud в Digital Ocean
https://lugassy.net/goodbye-google-cloud-hello-digital-ocean-a4ca1c8b7ac8
Поэтому предлагаю почитать о необычной миграции: из Google Cloud в Digital Ocean
https://lugassy.net/goodbye-google-cloud-hello-digital-ocean-a4ca1c8b7ac8
Medium
Goodbye Google Cloud, Hello Digital Ocean!
Launching cloud instances should be fun. Like invoicing customers.
А вот и видео с AWS re:Invent подогнали:
https://www.youtube.com/user/AmazonWebServices/playlists
Amazon пока что, наверное, самые быстрые в этом плане. Ещё и по тематическим плейлистам разложили: вообще красота!
#aws #slides
https://www.youtube.com/user/AmazonWebServices/playlists
Amazon пока что, наверное, самые быстрые в этом плане. Ещё и по тематическим плейлистам разложили: вообще красота!
#aws #slides
Занятная статья от Aerospike про тюнинг сети для Amazon EC2 инстансов (а XDR у Aerospike трафика гоняет дай боже!)
https://www.aerospike.com/blog/boosting-amazon-ec2-network-for-high-throughput/
Они пришли, во-первых, к тому, что запускать Aerospike лучше всего на r3 типе инстансов.
Во-вторых, на производительность сети на инстансах до 4xlarge тюнтнг с помощью Receive Packet Steering (RPS) даёт приблизительно такой же прирост производительности, как подключение нескольких Elastic Network Interfaces. А вот на более "толстых" инстансах несколько ENI уже куда эффективней RPS
#aerospike #networking #database #aws
https://www.aerospike.com/blog/boosting-amazon-ec2-network-for-high-throughput/
Они пришли, во-первых, к тому, что запускать Aerospike лучше всего на r3 типе инстансов.
Во-вторых, на производительность сети на инстансах до 4xlarge тюнтнг с помощью Receive Packet Steering (RPS) даёт приблизительно такой же прирост производительности, как подключение нескольких Elastic Network Interfaces. А вот на более "толстых" инстансах несколько ENI уже куда эффективней RPS
#aerospike #networking #database #aws
Аудиодоклад (подкаст?) про мониторинг и кэширование в Twitter от Yao Yue:
https://www.infoq.com/podcasts/yao-yue-twitter-cache#.WcFKf0WTZUU.twitter
Если вам интересны какие-то конкретные вопросы, там указаны тезисы и временная метка на которой их проговаривают. Удобно, если нет желания слушать все полчаса
#monitoring
https://www.infoq.com/podcasts/yao-yue-twitter-cache#.WcFKf0WTZUU.twitter
Если вам интересны какие-то конкретные вопросы, там указаны тезисы и временная метка на которой их проговаривают. Удобно, если нет желания слушать все полчаса
#monitoring
InfoQ
Twitter's Yao Yue on Latency, Performance Monitoring, & Caching at Scale
Yao Yue spent the majority of her career working on caching systems at Twitter. She created a performance team that deals with edge performance outliers often exposed by the enormous scale of Twitter. In this podcast, she discusses standing up the performance…
Стали доступны слайды, видео и фотки с PuppetConf 2017
https://puppet.com/blog/puppetconf-2017-videos-slides-and-photos-are-ready-you
#slides
https://puppet.com/blog/puppetconf-2017-videos-slides-and-photos-are-ready-you
#slides
Puppet
The PuppetConf 2017 videos, slides and photos are ready for you
The videos, slides and photos from PuppetConf 2017 are here! Relive the conference, rewatch your favorite sessions, and see the ones you missed.
Forwarded from Українська девопсарня
интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/
Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.
Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.
Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.
Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.
Etsy Engineering
Etsy Engineering | How Etsy caches: hashing, Ketama, and cache smearing
At Etsy, we rely heavily on memcached and Varnish as caching tiers to improve performance and reduce load. Database and search...
👍1
Lyft зарелизили cni-ipvlan-vpc-k8s: IPvlan для Kubernetes в AWS
https://eng.lyft.com/announcing-cni-ipvlan-vpc-k8s-ipvlan-overlay-free-kubernetes-networking-in-aws-95191201476e
В сопутствующей статье они описали, с какими проблемами пришлось столкнуться при деплое Kubernetes в AWS VPC: ограничение в 50 маршрутов роут-таблицы для VPC, что ведёт к развертыванию своих overlay сетей с BGP и профурсетками.
И, соответственно, как они это решали с помощью ENI, но так, чтобы не только упростить конфигурацию, но и сохранить производительность сети на должном уровне
В общем, если вы разворачиваете Kubernetes в AWS, вам это будет полезно at scale
P.S: Lyft -- это как Uber, только чуточку дешевле и покрывает только США
#kubernetes #aws #networking
https://eng.lyft.com/announcing-cni-ipvlan-vpc-k8s-ipvlan-overlay-free-kubernetes-networking-in-aws-95191201476e
В сопутствующей статье они описали, с какими проблемами пришлось столкнуться при деплое Kubernetes в AWS VPC: ограничение в 50 маршрутов роут-таблицы для VPC, что ведёт к развертыванию своих overlay сетей с BGP и профурсетками.
И, соответственно, как они это решали с помощью ENI, но так, чтобы не только упростить конфигурацию, но и сохранить производительность сети на должном уровне
В общем, если вы разворачиваете Kubernetes в AWS, вам это будет полезно at scale
P.S: Lyft -- это как Uber, только чуточку дешевле и покрывает только США
#kubernetes #aws #networking
Medium
Announcing cni-ipvlan-vpc-k8s: IPvlan overlay-free Kubernetes Networking in AWS
Lyft is pleased to announce the initial open source release of our IPvlan-based CNI networking stack for running Kubernetes at scale in…