⁠CloudFormation Resource Providers

Вы же знаете, что CloudFormation - бесплатный сервис. Знаете, да?

Так вот, вообще-то, нет. Уже нет - в прошлом году в него для борьбы с гегемонией Терраформа завезли Resource Providers и теперь для сторонних ресурсов работа CloudFormation платная - можете убедиться в прайсах и знать, чтобы не ошибиться на экзаменах.

Кто захочет использовать CloudFormation Resource Providers - есть (не)весёлая статейка по этой теме:

https://garbe.io/blog/2020/02/24/cloudformation-resource-provider

С грустными рассуждениями по этой теме и надеждой, что Амазон будет вспоминать о тех, кто у̶м̶е̶е̶т̶ ̶ж̶д̶а̶т̶ь̶ любит CloudFormation не только перед реинвентами. Ведь Терраформ не дремлет.

#CloudFormation

⁠Новые тесты процессора AWS Graviton 2

Появились свежие данные по производительности амазоновского процессора Graviton 2, который скрывается под инстансами с буковкой g в конце — M6g.

https://community.intersystems.com/post/intersystems-iris-arm-based-aws-graviton2-processors

Кому лень читать статью, спойлер — чем дальше в лес, тем крепче гравитоны.

#Graviton

Если у кого-то есть желание занять тёплое насиженное место в Нидерландах по AWS - можно заглянуть сюда.

⁠Всё просто.

#серверлесное

Чтобы получить информацию о мастер-аккаунте, необязательно для этого лезть в мастер организации, можно в любом из аккаунтов выполнить:

aws organizations describe-organization

{
 "Organization": {
   "Id": "o-grkq8ea51d",
   "Arn": "arn:aws:organizations::221433848249:organization/o-grkq8ea51d",
   "FeatureSet": "ALL",
   "MasterAccountArn": "arn:aws:organizations::221433848249:account/o-grkq8ea51d/221433848249",
   "MasterAccountId": "221433848249",
   "MasterAccountEmail": "[email protected]",
   "AvailablePolicyTypes": [
     {
       "Type": "SERVICE_CONTROL_POLICY",
       "Status": "ENABLED"
     }
   ]
 }
}

Т.е. это работает и в мастере, и в любом из под-аккаунтов.

А для получения в каком-то скрипте конкретно AWS ID мастера используем #query:

aws organizations describe-organization --query Organization.MasterAccountId --output text

221433848249

#Organizations #aws_cli

⁠Как объяснить своему психологу, что такое технический долг?

#пятничное

Кто активно работает с CodeBuild и кому нужно знать, что входит в состав текущих дефолтных амазоновских образов, то их исходники (Dockerfile-ы) можно посмотреть здесь:

https://github.com/aws/aws-codebuild-docker-images

#CodeBuild

Глубокомысленные и полезные д̶е̶в̶ опс уроки:

https://www.netmeister.org/blog/ops-lessons.html

Список длинный с неочевидными для многих моментами — нужно быть и хорошим админом, и знать английский. Потому рекомендую посмотреть их перевод в канале Kazarin.online с авторскими комментариями (или у него же в блоге одним куском).

#ops

⁠NLB + sticky sessions

Теперь и NLB обзавёлся поддержкой Sticky Sessions:

https://docs.aws.amazon.com/elasticloadbalancing/latest/network/load-balancer-target-groups.html#sticky-sessions

Очень интересно отметить, что новая фича доступна лишь в европейских датацентрах Ирландии, Франции (Paris) и Швеции (Stockholm).

Так что не обнаружив NLB Sticky Sessions в как бы дефолтной N.Virginia (us-east-1) — не удивляйтесь, там её нет, европейское подразделение AWS рулит. :)

Кстати, на официальной странице возможностей балансеров у NLB ещё нет галочки (см. картинку), но вскоре поставят.

#NLB

Кто из Минска и кому нечего делать в пятницу вечером, у меня для вас соболезнования и предложение. Есть тёплый уютный ламповый чатик AWS Friday Minsk, где мы обычно обсуждаем всякое около-авс-ное и не только (от вопросов по AWS сертификации до проблем образования вообще), а главное — где собраться в пятницу в оффлайне и поговорить по AWS живьём.

⁠Важная картинка для понимания логики работы IAM.

https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_evaluation-logic.html

Стоит к ней всегда обращаться, особенно если возникают вопросы взаимодействия Resource-based политик и Identity-based.

#IAM

Amazon FSx теперь работает в Shared VPC:

https://aws.amazon.com/about-aws/whats-new/2020/02/amazon-fsx-enables-create-use-file-systems-shared-amazon-virtual-private-clouds/

В ECR завезли метрики:

https://docs.aws.amazon.com/AmazonECR/latest/userguide/monitoring-usage.html

В Config добавится большое количество ресурсов:

https://www.diffchecker.com/qnK0l5aY

А через CloudFormation теперь можно автоматически поднять свой GroundStation:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_GroundStation.html

#updates

⁠Тесла плохого не посоветует.

#best_practices

⁠AWS February 2020

Кто пропустил, краткий список основного за февраль на AWS.

Вышла AWS CLI v2

В Well-Architected tool добавили раздел для Severless

StackSets умеет автодеплой для всех аккаунтов в организации

EBS Volumes + Multi-Attach — EBS диски типа io1 можно монтировать сразу к нескольким инстансам одновременно

Масштабирование AutoScaling Group можно временно выключать

Скидки Savings Plans теперь распространяются также на Лямбды

Халявное ускорение на треть у EBS-дисков для T3/T3a/C5/M5/R5 инстансов

И по мелочи:

Active Directory для RDS SQL теперь раобтает в мульти-аккаунтах и мульти-VPC

В CodeBuild можно монтировать EFS

Бэкап DynamoDB можно сразу восстанавливать в таблицу в другом регионе

Зарелизился VPC CNI Version 1.6 для EKS

Amazon Rekognition умеет разгадывать текст в видео

AWS Chatbot умеет выводить CloudWatch (метрики, алярмы и логи)

ECS научился парсить JSON из Secrets и можно указывать их (секретов) версию (а не только последний, как раньше)

#месячное

Почему стоит (нужно, требуется) использовать IPv6

Хотел было написать про IPv6 и тут как раз вышла отличная статья на Хабре:

https://habr.com/ru/post/490378/

Проведённый же тут опрос показал, что 85% не используют и не собираются использовать IPv6, 10% собираются и лишь 5% уже используют.

В продолжение к статье выше — информация к размышлению для 85% аудитории этого канала.

---

→ LinkedIn рассказал ещё в 2018-м году, что у них больше половины трафика юзеров из США приходит по IPv6:

https://engineering.linkedin.com/blog/2018/06/celebrating-ipv6-launch-day

→ На сегодняшний день у Facebook около 60% штатовских юзеров на IPv6, сколько в вашей стране можно глянуть здесь:

https://www.facebook.com/ipv6/?tab=ipv6_country

→ В Германии около половины трафика Google на IPv6:

https://www.google.com/intl/en/ipv6/statistics.html#tab=per-country-ipv6-adoption&tab=per-country-ipv6-adoption

→ IPv6 банально быстрей уже лишь только из-за отсутствия NAT. Казалось бы какие-то десятки миллисекунд, однако Амазон говорит, что каждые 100мс стоят 1% выручки в Sales сегменте:

https://www.gigaspaces.com/blog/amazon-found-every-100ms-of-latency-cost-them-1-in-sales/

→ Переходя от агитации к AWS. Базовые инфраструктурные сервисы, такие как EC2, S3, CloudFront, ALB и VPC — давно поддерживают IPv6. (NLB пока нет — фу, какой ужас — но обещают). В частности, как перейти на IPv6 в VPC из документации:

https://docs.aws.amazon.com/vpc/latest/userguide/vpc-migrate-ipv6.html

→ И туториал - как создать сайт на S3+CloudFront с поддержкой IPv6:

https://blogs.infoblox.com/ipv6-coe/configuring-an-ipv6-website-in-aws/

===

Итого, проектируя новый проект - обязательно берите во внимание IPv6 или проиграете (придётся до/переделывать), дуалстэк (поддержка IPv4+IPv6) на текущий момент показан чуть меньше, чем для всего. Существующим проектам, особенно штатовским и мобильным - продумайте внедрение IPv6, т.к. это уже местами более половины трафика.

Нужно учитывать, что по умолчанию, все IPv6 адреса публичные и инстансы с ними могут разговаривать друг с другом. Это даёт возможность избежать использования NAT, который автоматом отрабатывает для всех IPv4 систем. С другой стороны, для того, чтобы сделать свои IPv6 подсетки приватными — используйте Egress-Only Internet Gateway:

https://docs.aws.amazon.com/vpc/latest/userguide/egress-only-internet-gateway.html#IPv6

Если у вас есть что-то своё о плюсах и минусах IPv6 на AWS — спрашивайте и высказывайте в чате.

#IPv6

Как посчитать файлы в S3 бакете

Можно несколькими способами:

• Использовать команду list_objects_v2 для AWS CLI (или boto3)

https://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html

Но нужно учесть, что придётся перебирать все страницы выдачи по 1000 шт, пока не дойдёте до конца.


• Использовать Amazon S3 CloudWatch Daily Storage Metrics for Buckets

https://docs.aws.amazon.com/AmazonS3/latest/dev/cloudwatch-monitoring.html#s3-cloudwatch-metrics

Но нужно учесть, что это значение обновляется раз в день.


• Использовать Amazon S3 Inventory

https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html

Можно запускать по расписанию, в отличие от других способов — стоит небольшую копеечку.

#s3

⁠AWS Simple Iconification Service

Простенькое расширение, добавляющее иконку на вкладки AWS Console (см. картинку). Просто и со вкусом, когда вкладок много — хоть как-то можно ориентироваться.

Chrome:

https://chrome.google.com/webstore/detail/aws-simple-iconification/edagjlhogddnlkbkllibfhbekpcdppbk

Firefox:

https://addons.mozilla.org/en-GB/firefox/addon/simple-iconification-service/

Исходники:

https://github.com/leepa/aws-simple-iconification-service

#AWS_Console

⁠Serverless пример работы с AWS Textract:

https://github.com/aeksco/aws-pdf-textract-pipeline

Одна лямбда собирает урлы с pdf-файлами, сохраняя в DynamoDB. Другая их скачивает в S3 бакет. Третья отправляет их в Textract, а четвёртая получает из него результаты и сохраняет результаты в DynamoDB.

#Textract #serverless #demo #пример

Повторяющиеся записи в эвентах ECS-тасок типа:

...

[2020-03-02 11:56:03 +0300] (service ***) has reached a steady state.
[2020-03-02 17:56:06 +0300] (service ***) has reached a steady state.
[2020-03-02 23:56:44 +0300] (service ***) has reached a steady state.
[2020-03-03 05:56:47 +0300] (service ***) has reached a steady state.

...

Обозначают, что всё хорошо, никто ничего не делал (не умирал и не масштабировался), можно ещё 6 часов (они периодические) спать спокойно.

#ECS

⁠Если вы тренируете свою сетку распознавать котиков или у вас есть другие проекты, относящиеся к AI/ML, то тут можно получить от AWS до 10000$ (десять тысяч долларов прописью) на ваши эксперименты:

https://pages.awscloud.com/GLOBAL-other-LN-accelerated-computing-free-trial-2020-interest.html

#раздача #слонов

AWS Secrets Manager + 64KB

В секреты теперь можно писать до 64КБ:

https://aws.amazon.com/about-aws/whats-new/2020/03/aws-secrets-manager-now-supports-larger-size-for-secrets-and-higher-request-rate-for-getsecretvalue-api/

Приятно, когда Амазон реагирует на чаянья простых пользователей. В общем, спасибо, мне 64КБ достаточно, больше не надо, так что все лишние резервы — срочно перекидывайте в команду CloudFormation!

#Secrets