Нативный экспорт DynamoDB на S3 для аналитики:

https://aws.amazon.com/blogs/aws/new-export-amazon-dynamodb-table-data-to-data-lake-amazon-s3/

#DynamoDB

​​В полку балансеров прибыло — Gateway Load Balancer (GWLB):

https://aws.amazon.com/blogs/aws/introducing-aws-gateway-load-balancer-easy-deployment-scalability-and-high-availability-for-partner-appliances/

GWLB используется как решение масштабирования своего ПО, предназначенного для инспекции трафика — например, для случаев, когда есть жёсткие/обзятальеные/корпоративные требования на фильтрацию трафика из интернета.

#GWLB

​​Для финтеха у Амазона теперь есть свой специальный стартапный уголок:

https://aws.amazon.com/startups/FinTech/

#startups

Модульность в AWS SDK третьей версии:

https://aws.amazon.com/blogs/developer/modular-packages-in-aws-sdk-for-javascript/

То есть можно загрузить отдельный модуль, например, для S3 (а не весь пакет со всеми сервисами целиком):

const { S3 } = require("@aws-sdk/client-s3");
const s3Client = new S3({});
await s3Client.createBucket(params);

Можно добавить, что "прямо как в AWS CDK". Интересно отметить, что AWS SDK уходит от монорепы, в то время как CDK туда стремится. Демократия, однако.

#SDK

​​Много лет, вплоть до прошлого года, для компаний с требованиями обязательной фильтрации всего трафика из интернета, работать на AWS была большая проблема. Ведь трафик ходил через Internet Gateway, контролировать который нельзя. Приходилось отказываться от Амазона или наворачивать свои (читай дорогие и сложные в поддержке) системы.

В попытке хоть как-то решить эту проблему в самом конце прошлого года появился VPC Ingress Routing, позволяющий завести трафик на свои инстансы для подобной фильтрации.

Однако поддерживать инстансы, через которые идёт весь интернет-трафик и потому их надёжность для всей системы критическая, была очевидной проблемой.

В результате для решения этой задачи запилили целый специальный балансер - GWLB, а для полного исправления ситуации добавили в AWS Transit Gateway новый режим Appliance Mode:

https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-aws-gateway-load-balancer-supported-architecture-patterns/

В общем, интересно подытожить, что за год с небольшим Амазон смог решить застарелую проблему для озабоченных Compliance и Security компаний.

#GWLB #TGW

In-transit шифрование

Есть некоторые типы виртуалок для особо озабоченных безопасностью внутрисетевого трафика. На текущий момент следующие типы виртуалок имеют железное шифрование AES-256, которое #Nitro даёт им совершенно бесплатно и без потери производительности:

C5a, C5ad, C5n, G4, I3en, M5dn, M5n, P3dn, R5dn и R5n

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/data-protection.html#encryption-transit

#EC2 #paranoid #security

​​Если вдруг попадали ваши CI/CD пайплайны, а в логах почему-то не хотят ставиться давно не изменяемые рабочие Helm чарты (например, для ALB Ingress Controller), то это потому что после 13 ноября они официально перестали работать:

https://github.com/helm/charts

Нужно переделать скрипты установки Helm чартов на charts.helm.sh:

helm repo add stable   https://charts.helm.sh/stable
helm repo add incubator https://charts.helm.sh/incubator

#Helm

Abstractions and serverless
https://blog.softwaremill.com/abstractions-and-serverless-3dfaccaf85b6

#люди

Я знаю, что вы ждете продолжение моего блога про DynamoDB. Пока я хотел бы обсудить с вами такой важный в нашей сфере термин, как reliability, у которого нет точного перевода на русский язык, но самым близким является надежность.

​​Большая подборка ссылок по IAM (Identity & Access Management):

https://github.com/kdeldycke/awesome-iam

Статьи по части #security вообще (для различных провайдеров) и про AWS IAM в частности.

#IAM

​​Подробности работы GWLB:

https://aws.amazon.com/blogs/networking-and-content-delivery/integrate-your-custom-logic-or-appliance-with-aws-gateway-load-balancer/

#GWLB

​​Появление GWLB дало важные инструменты, чтобы качественно фильтровать трафик. Почему же не сделать из этого готовый сервис? И действительно, почему?

Встречаем новый сервис AWS Network Firewall:

https://aws.amazon.com/blogs/aws/aws-network-firewall-new-managed-firewall-service-in-vpc/

Представляет собой Firewall в привычном смысле этого слова, работающий в VPC. Стоит неслабо денег (для тех, кому поиграться) - триста долларов в месяц плюс трафик, так что пробовать осторожно. Другие подробности в документации:

https://docs.aws.amazon.com/network-firewall/latest/developerguide/logging-monitoring.html

#NF

​​Обнаружив ошибку CannotPullContainerError в логах CodeBuild:

Unable to pull customers container image: toomanyrequests. You have reached your pull rate limit.
You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limit (status code: BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE)

Которая обозначает, что превышен лимит для вытягивания публичных образов из докерхаба, то решить вопрос можно, добавив аутентификацию:

https://aws.amazon.com/blogs/devops/how-to-use-docker-images-from-a-private-registry-in-aws-codebuild-for-your-build-environment/

Для чего потребуется создать секрет, прописав его ARN в CodeBuild. Для получения секрета нужно добавить сервисной роли права на secretsmanager:GetSecretValue:

https://docs.aws.amazon.com/codebuild/latest/userguide/sample-private-registry.html#private-registry-sample-create-project

#CodeBuild

Amazon S3 Storage Lens:

https://aws.amazon.com/blogs/aws/s3-storage-lens/

Удобный и информативный инструмент по работе с S3 бакетами, расположенными в разных аккаунтах (и регионах).

#S3

EventBridge + Resource-based policy:

https://aws.amazon.com/blogs/compute/simplifying-cross-account-access-with-amazon-eventbridge-resource-policies/

С помощью Resource-based политик проще создавать мультиаккаунтные проекты. То есть, к примеру, когда фронт в одном аккаунте отправляет эвенты в центральный аккаунт, а бэкенд, допустим, с какими-то суровыми требованиями по безопасности, обрабатывает их в своём отдельном аккаунте.

#EventBridge

Впечатляющая фича в новых версиях AWS CLI — автодополнение, в том числе для JMESPath (--query).

https://github.com/aws/aws-cli/issues/5664

Очень весомый повод обязательно перейти на вторую версию aws-cli.

Подробности в документации:

https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-prompting.html

#aws_cli

CloudFormation ­­- главные фичи 2020

• CloudFormation StackSets for Multiple Accounts in an AWS Organization
• AWS CloudFormation Guard
• Increasing CloudFormation Service quotas
• CloudFormation change sets now support nested stacks
• CloudFormation modules

Предыдущие ­- главные CloudFormation фичи 2019.

#итоги #CloudFormation

Лучшие посты из AWS блога по CloudFormation за 2020-ый год:

• Managing resources using AWS CloudFormation Resource Types
• Using State Manager over cfn-init in CloudFormation and its benefits
• Managing AWS Organizations accounts using AWS Config and AWS CloudFormation StackSets
• How to create SAML providers with AWS CloudFormation
• Implement automatic drift remediation for AWS CloudFormation using Amazon CloudWatch and AWS Lambda
• How to use AWS Certificate Manager with AWS CloudFormation
• Deploy AWS CloudFormation stacks with GitHub Actions
• Write preventive compliance rules for AWS CloudFormation templates the cfn-guard way
• Integrating AWS CloudFormation security tests with AWS Security Hub and AWS CodeBuild reports
• Migrating CloudFormation templates to the AWS Cloud Development Kit
• Running bash commands in AWS CloudFormation templates
• Four ways to retrieve any AWS service property using AWS CloudFormation (Part 1)
• Introducing AWS CloudFormation modules

#CloudFormation