Появление GWLB дало важные инструменты, чтобы качественно фильтровать трафик. Почему же не сделать из этого готовый сервис? И действительно, почему?
Встречаем новый сервис AWS Network Firewall:
https://aws.amazon.com/blogs/aws/aws-network-firewall-new-managed-firewall-service-in-vpc/
Представляет собой Firewall в привычном смысле этого слова, работающий в VPC. Стоит неслабо денег (для тех, кому поиграться) - триста долларов в месяц плюс трафик, так что пробовать осторожно. Другие подробности в документации:
https://docs.aws.amazon.com/network-firewall/latest/developerguide/logging-monitoring.html
#NF
Встречаем новый сервис AWS Network Firewall:
https://aws.amazon.com/blogs/aws/aws-network-firewall-new-managed-firewall-service-in-vpc/
Представляет собой Firewall в привычном смысле этого слова, работающий в VPC. Стоит неслабо денег (для тех, кому поиграться) - триста долларов в месяц плюс трафик, так что пробовать осторожно. Другие подробности в документации:
https://docs.aws.amazon.com/network-firewall/latest/developerguide/logging-monitoring.html
#NF
Обнаружив ошибку
Которая обозначает, что превышен лимит для вытягивания публичных образов из докерхаба, то решить вопрос можно, добавив аутентификацию:
https://aws.amazon.com/blogs/devops/how-to-use-docker-images-from-a-private-registry-in-aws-codebuild-for-your-build-environment/
Для чего потребуется создать секрет, прописав его
https://docs.aws.amazon.com/codebuild/latest/userguide/sample-private-registry.html#private-registry-sample-create-project
#CodeBuild
CannotPullContainerError в логах CodeBuild:Unable to pull customers container image: toomanyrequests. You have reached your pull rate limit.You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limit (status code: BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE)Которая обозначает, что превышен лимит для вытягивания публичных образов из докерхаба, то решить вопрос можно, добавив аутентификацию:
https://aws.amazon.com/blogs/devops/how-to-use-docker-images-from-a-private-registry-in-aws-codebuild-for-your-build-environment/
Для чего потребуется создать секрет, прописав его
ARN в CodeBuild. Для получения секрета нужно добавить сервисной роли права на secretsmanager:GetSecretValue:https://docs.aws.amazon.com/codebuild/latest/userguide/sample-private-registry.html#private-registry-sample-create-project
#CodeBuild
Amazon S3 Storage Lens:
https://aws.amazon.com/blogs/aws/s3-storage-lens/
Удобный и информативный инструмент по работе с S3 бакетами, расположенными в разных аккаунтах (и регионах).
#S3
https://aws.amazon.com/blogs/aws/s3-storage-lens/
Удобный и информативный инструмент по работе с S3 бакетами, расположенными в разных аккаунтах (и регионах).
#S3
Amazon
Introducing Amazon S3 Storage Lens – Organization-wide Visibility Into Object Storage | Amazon Web Services
When starting out in the cloud, a customer’s storage requirements might consist of a handful of S3 buckets, but as they grow, migrate more applications and realize the power of the cloud, things can become more complicated. A customer may have tens or even…
EventBridge + Resource-based policy:
https://aws.amazon.com/blogs/compute/simplifying-cross-account-access-with-amazon-eventbridge-resource-policies/
С помощью Resource-based политик проще создавать мультиаккаунтные проекты. То есть, к примеру, когда фронт в одном аккаунте отправляет эвенты в центральный аккаунт, а бэкенд, допустим, с какими-то суровыми требованиями по безопасности, обрабатывает их в своём отдельном аккаунте.
#EventBridge
https://aws.amazon.com/blogs/compute/simplifying-cross-account-access-with-amazon-eventbridge-resource-policies/
С помощью Resource-based политик проще создавать мультиаккаунтные проекты. То есть, к примеру, когда фронт в одном аккаунте отправляет эвенты в центральный аккаунт, а бэкенд, допустим, с какими-то суровыми требованиями по безопасности, обрабатывает их в своём отдельном аккаунте.
#EventBridge
Amazon
Simplifying cross-account access with Amazon EventBridge resource policies | Amazon Web Services
This post shows you how to use the new features Amazon EventBridge resource policies that make it easier to build applications that work across accounts. Resource policies provide you with a powerful mechanism for modeling your event buses across multiple…
This media is not supported in your browser
VIEW IN TELEGRAM
Впечатляющая фича в новых версиях AWS CLI — автодополнение, в том числе для JMESPath (
https://github.com/aws/aws-cli/issues/5664
Очень весомый повод обязательно перейти на вторую версию aws-cli.
Подробности в документации:
https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-prompting.html
#aws_cli
--query). https://github.com/aws/aws-cli/issues/5664
Очень весомый повод обязательно перейти на вторую версию aws-cli.
Подробности в документации:
https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-prompting.html
#aws_cli
CloudFormation - главные фичи 2020
• CloudFormation StackSets for Multiple Accounts in an AWS Organization
• AWS CloudFormation Guard
• Increasing CloudFormation Service quotas
• CloudFormation change sets now support nested stacks
• CloudFormation modules
Предыдущие - главные CloudFormation фичи 2019.
#итоги #CloudFormation
• CloudFormation StackSets for Multiple Accounts in an AWS Organization
• AWS CloudFormation Guard
• Increasing CloudFormation Service quotas
• CloudFormation change sets now support nested stacks
• CloudFormation modules
Предыдущие - главные CloudFormation фичи 2019.
#итоги #CloudFormation
Лучшие фичи CloudFormation в 2020.
(можно выбрать несколько)
(можно выбрать несколько)
Anonymous Poll
27%
StackSets + Organizations
12%
CloudFormation Guard
43%
Увеличенные CFN квоты
39%
Change Sets + Nested Stacks
Лучшие посты из AWS блога по CloudFormation за 2020-ый год:
• Managing resources using AWS CloudFormation Resource Types
• Using State Manager over cfn-init in CloudFormation and its benefits
• Managing AWS Organizations accounts using AWS Config and AWS CloudFormation StackSets
• How to create SAML providers with AWS CloudFormation
• Implement automatic drift remediation for AWS CloudFormation using Amazon CloudWatch and AWS Lambda
• How to use AWS Certificate Manager with AWS CloudFormation
• Deploy AWS CloudFormation stacks with GitHub Actions
• Write preventive compliance rules for AWS CloudFormation templates the cfn-guard way
• Integrating AWS CloudFormation security tests with AWS Security Hub and AWS CodeBuild reports
• Migrating CloudFormation templates to the AWS Cloud Development Kit
• Running bash commands in AWS CloudFormation templates
• Four ways to retrieve any AWS service property using AWS CloudFormation (Part 1)
• Introducing AWS CloudFormation modules
#CloudFormation
• Managing resources using AWS CloudFormation Resource Types
• Using State Manager over cfn-init in CloudFormation and its benefits
• Managing AWS Organizations accounts using AWS Config and AWS CloudFormation StackSets
• How to create SAML providers with AWS CloudFormation
• Implement automatic drift remediation for AWS CloudFormation using Amazon CloudWatch and AWS Lambda
• How to use AWS Certificate Manager with AWS CloudFormation
• Deploy AWS CloudFormation stacks with GitHub Actions
• Write preventive compliance rules for AWS CloudFormation templates the cfn-guard way
• Integrating AWS CloudFormation security tests with AWS Security Hub and AWS CodeBuild reports
• Migrating CloudFormation templates to the AWS Cloud Development Kit
• Running bash commands in AWS CloudFormation templates
• Four ways to retrieve any AWS service property using AWS CloudFormation (Part 1)
• Introducing AWS CloudFormation modules
#CloudFormation
Лучшие фичи VPC в 2020.
(можно выбрать несколько)
(можно выбрать несколько)
Anonymous Poll
14%
1-minute Aggregation for VPC Flow Logs
4%
Enriched metadata to VPC flow logs
12%
Bring Your Own IPv6 + VPC
19%
VPC Prefix Lists
18%
AWS Transfer Family for Shared VPC
65%
AWS Network Firewall
Лучшие посты из AWS блога по VPC за 2020-ый год:
• Securing VPCs Egress using IDS/IPS leveraging Transit Gateway
• New – Amazon Simple Email Service (SES) for VPC Endpoints
• Building an egress VPC with AWS Transit Gateway and the AWS CDK
• Use Amazon VPC Endpoint Policies for granular control of Amazon EC2 APIs
• Migrate from Transit VPC to AWS Transit Gateway
• Using VPC Sharing for a Cost-Effective Multi-Account Microservice Architecture
• Using VPC Flow Logs to capture and query EKS network communications
• Use AWS Firewall Manager and VPC security groups to protect your applications hosted on EC2 instances
• Using AWS Lambda IAM condition keys for VPC settings
• Reduce Cost and Increase Security with Amazon VPC Endpoints
• VPC Flow Log automation using AWS Control Tower LifeCycle
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
#VPC
• Securing VPCs Egress using IDS/IPS leveraging Transit Gateway
• New – Amazon Simple Email Service (SES) for VPC Endpoints
• Building an egress VPC with AWS Transit Gateway and the AWS CDK
• Use Amazon VPC Endpoint Policies for granular control of Amazon EC2 APIs
• Migrate from Transit VPC to AWS Transit Gateway
• Using VPC Sharing for a Cost-Effective Multi-Account Microservice Architecture
• Using VPC Flow Logs to capture and query EKS network communications
• Use AWS Firewall Manager and VPC security groups to protect your applications hosted on EC2 instances
• Using AWS Lambda IAM condition keys for VPC settings
• Reduce Cost and Increase Security with Amazon VPC Endpoints
• VPC Flow Log automation using AWS Control Tower LifeCycle
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
#VPC
Forwarded from Rinat Uzbekov
В этом году мы будем делать стримы на русском с обзором и обсуждением новинок с re:invent. Вот тут можно зарегистрироваться, там же программа - https://rureinventawsrecaps2020.splashthat.com/
AWS_notes в Facebook:
https://www.facebook.com/aws.notes
Кому удобней читать/смотреть/следить/комментировать в Facebook - присоединяйтесь!
https://www.facebook.com/aws.notes
Кому удобней читать/смотреть/следить/комментировать в Facebook - присоединяйтесь!
Код Лямбды можно подписать:
https://aws.amazon.com/blogs/aws/new-code-signing-a-trust-and-integrity-control-for-aws-lambda/
Что позволяет запускать свою/чужую Лямбду, будучи уверенным, что код не был изменён.
#Lambda
https://aws.amazon.com/blogs/aws/new-code-signing-a-trust-and-integrity-control-for-aws-lambda/
Что позволяет запускать свою/чужую Лямбду, будучи уверенным, что код не был изменён.
#Lambda
Amazon
New – Code Signing, a Trust and Integrity Control for AWS Lambda | Amazon Web Services
Code signing is an industry standard technique used to confirm that the code is unaltered and from a trusted publisher. Code running inside AWS Lambda functions is executed on highly hardened systems and runs in a secure manner. However, function code is…
В консоли DynamoDB появился PartiQL редактор (см. картинку).
PartiQL - язык, запиленный Амазоном в 2019-м году для возможности работать в SQL-подобном стиле с данными любого формата:
https://aws.amazon.com/ru/blogs/opensource/announcing-partiql-one-query-language-for-all-your-data/
Или на русском на Хабре:
https://habr.com/ru/news/t/463253/
Кроме того, теперь любые изменения таблиц DynamoDB можно стримить в Kinesis.
#DynamoDB
PartiQL - язык, запиленный Амазоном в 2019-м году для возможности работать в SQL-подобном стиле с данными любого формата:
https://aws.amazon.com/ru/blogs/opensource/announcing-partiql-one-query-language-for-all-your-data/
Или на русском на Хабре:
https://habr.com/ru/news/t/463253/
Кроме того, теперь любые изменения таблиц DynamoDB можно стримить в Kinesis.
#DynamoDB
S3 — главные фичи 2020
• Поддержка S3 Intelligent-Tiering для AWS Storage Gateway’s File Gateway
• Прокачавшиеся S3 Batch Operations:
→ Job Tags
→ Object Lock (Legal Hold + Retention)
• SigV2 всё, теперь только SigV4
• Автообновление содержимого S3 бакетов для FSx for Lustre
• Три новые фичи сразу (в одной статье):
→ Условие для возможности по номеру AWS аккаунта зафильтровать принадлежащий ему бакет Bucket owner condition
→ Решение проблемы длиной в 15 лет — S3 Object Ownership
→ Поддержка Copy API для S3 Access Points
• Древние типы урлов для S3 объектов — вида
• Свой собственный S3 — Amazon S3 on Outposts
• Прокачавшийся S3 Replication:
→ Delete marker replication
→ Metrics/notifications
• S3 Intelligent-Tiering теперь поддерживает не только IA, но и Glacier + Deep Archive
• Дашборды использования S3 для всей организации с разбивкой по аккаунтам, регионам, Storage Class и бакетам — Amazon S3 Storage Lens
===
Предыдущие — главные S3 фичи 2019.
#итоги #S3
• Поддержка S3 Intelligent-Tiering для AWS Storage Gateway’s File Gateway
• Прокачавшиеся S3 Batch Operations:
→ Job Tags
→ Object Lock (Legal Hold + Retention)
• SigV2 всё, теперь только SigV4
• Автообновление содержимого S3 бакетов для FSx for Lustre
• Три новые фичи сразу (в одной статье):
→ Условие для возможности по номеру AWS аккаунта зафильтровать принадлежащий ему бакет Bucket owner condition
→ Решение проблемы длиной в 15 лет — S3 Object Ownership
→ Поддержка Copy API для S3 Access Points
• Древние типы урлов для S3 объектов — вида
s3.amazonaws.com/my-bucket — передумали убивать. Старые S3 бакеты продолжат (пожизненно) работать по такой схеме. Новые (теперь созданные) уже лишь как my-bucket.s3.amazonaws.com или my-bucket.s3.some-region.amazonaws.com. Update to Amazon S3 Path Deprecation Plan• Свой собственный S3 — Amazon S3 on Outposts
• Прокачавшийся S3 Replication:
→ Delete marker replication
→ Metrics/notifications
• S3 Intelligent-Tiering теперь поддерживает не только IA, но и Glacier + Deep Archive
• Дашборды использования S3 для всей организации с разбивкой по аккаунтам, регионам, Storage Class и бакетам — Amazon S3 Storage Lens
===
Предыдущие — главные S3 фичи 2019.
#итоги #S3
Лучшие фичи Amazon S3 в 2020.
(можно выбрать несколько)
(можно выбрать несколько)
Anonymous Poll
7%
Прокачавшиеся S3 Batch Operations
1%
S3 auto update + FSx for Lustre
10%
Bucket owner condition
20%
S3 Object Ownership
6%
S3 Path Deprecation Plan
6%
S3 + Outposts
14%
S3 Intelligent-Tiering + Glacier & Deep Archive
7%
Прокачавшийся S3 Replication
9%
S3 Storage Lens
56%
(не голосую - посмотреть результаты)
Лучшие посты из AWS блога по S3 за 2020-ый год:
• Query Amazon S3 analytics data with Amazon Athena
• Aggregating logs with S3 Same-Region Replication
• Analyze your Amazon S3 spend using AWS Glue and Amazon Redshift
• How to use KMS and IAM to enable independent security controls for encrypted data in S3
• Querying data without servers or databases using Amazon S3 Select
• IAM Access Analyzer flags unintended access to S3 buckets shared through access points
• Discover, review, and remediate unintended access to S3 buckets shared through S3 Access Points
• Encrypting existing Amazon S3 objects with the AWS CLI
• Using dynamic Amazon S3 event handling with Amazon EventBridge
• Managing delete marker replication in Amazon S3
• How to manage retention periods in bulk using Amazon S3 Batch Operations
• Replicating existing objects between S3 buckets
• Changing your Amazon S3 encryption from S3-Managed to AWS KMS
• Tighten S3 permissions for your IAM users and roles using access history of S3 actions
• Securing Amazon S3 Glacier with a customer-managed encryption key
• How to retroactively encrypt existing objects in Amazon S3 using S3 Inventory, Amazon Athena, and S3 Batch Operations
• Auditing Amazon S3 encryption methods for object uploads in real time
• Cross-account bulk transfer of files using Amazon S3 Batch Operations
• Recovering from a disaster using AWS Storage Gateway and Amazon S3 Glacier
• Uploading to Amazon S3 directly from a web or mobile application
• Reliable event processing with Amazon S3 event notifications
• Migrating and managing large datasets on Amazon S3 (Part 1)
• Migrating and managing large datasets on Amazon S3 (Part 2)
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
• Handling data erasure requests in your data lake with Amazon S3 Find and Forget
#S3
• Query Amazon S3 analytics data with Amazon Athena
• Aggregating logs with S3 Same-Region Replication
• Analyze your Amazon S3 spend using AWS Glue and Amazon Redshift
• How to use KMS and IAM to enable independent security controls for encrypted data in S3
• Querying data without servers or databases using Amazon S3 Select
• IAM Access Analyzer flags unintended access to S3 buckets shared through access points
• Discover, review, and remediate unintended access to S3 buckets shared through S3 Access Points
• Encrypting existing Amazon S3 objects with the AWS CLI
• Using dynamic Amazon S3 event handling with Amazon EventBridge
• Managing delete marker replication in Amazon S3
• How to manage retention periods in bulk using Amazon S3 Batch Operations
• Replicating existing objects between S3 buckets
• Changing your Amazon S3 encryption from S3-Managed to AWS KMS
• Tighten S3 permissions for your IAM users and roles using access history of S3 actions
• Securing Amazon S3 Glacier with a customer-managed encryption key
• How to retroactively encrypt existing objects in Amazon S3 using S3 Inventory, Amazon Athena, and S3 Batch Operations
• Auditing Amazon S3 encryption methods for object uploads in real time
• Cross-account bulk transfer of files using Amazon S3 Batch Operations
• Recovering from a disaster using AWS Storage Gateway and Amazon S3 Glacier
• Uploading to Amazon S3 directly from a web or mobile application
• Reliable event processing with Amazon S3 event notifications
• Migrating and managing large datasets on Amazon S3 (Part 1)
• Migrating and managing large datasets on Amazon S3 (Part 2)
• Managing Amazon S3 access with VPC endpoints and S3 Access Points
• Handling data erasure requests in your data lake with Amazon S3 Find and Forget
#S3
ABAC+SSO:
https://aws.amazon.com/blogs/aws/new-attributes-based-access-control-with-aws-single-sign-on/
Прошёл ровно год с появления ABAC (Attribute-Based Access Control) или Tag-Based Access Control. И вот теперь при наличии SSO давать доступ к ресурсам стало ещё проще и удобней.
Включаем ABAC на страничке настроек SSO (на картинке), как заработает, добавляем нужные атрибуты, которые будут пробрасываться. Например, банально username (на картинке). Теперь добавив к любому ресурсу в политики доступа условие:
Можно будет просто зайти в тэги, например, RDS базы данных, и добавить тэг
#ABAC #SSO
https://aws.amazon.com/blogs/aws/new-attributes-based-access-control-with-aws-single-sign-on/
Прошёл ровно год с появления ABAC (Attribute-Based Access Control) или Tag-Based Access Control. И вот теперь при наличии SSO давать доступ к ресурсам стало ещё проще и удобней.
Включаем ABAC на страничке настроек SSO (на картинке), как заработает, добавляем нужные атрибуты, которые будут пробрасываться. Например, банально username (на картинке). Теперь добавив к любому ресурсу в политики доступа условие:
"Condition": { "StringEquals": { "ec2:ResourceTag/username": "${aws:PrincipalTag/username}" }}Можно будет просто зайти в тэги, например, RDS базы данных, и добавить тэг
username со значением Karen . В результате пользователь Karen, залогинившись через SSO, автоматически получит доступ к этой базе.#ABAC #SSO