AWS Notes
5.59K subscribers
452 photos
42 videos
10 files
2.81K links
AWS Notes — Amazon Web Services Educational and Information Channel

Chat: https://t.iss.one/aws_notes_chat

Contacts: @apple_rom, https://www.linkedin.com/in/roman-siewko/
Download Telegram
​​Появление GWLB дало важные инструменты, чтобы качественно фильтровать трафик. Почему же не сделать из этого готовый сервис? И действительно, почему?

Встречаем новый сервис AWS Network Firewall:

https://aws.amazon.com/blogs/aws/aws-network-firewall-new-managed-firewall-service-in-vpc/

Представляет собой Firewall в привычном смысле этого слова, работающий в VPC. Стоит неслабо денег (для тех, кому поиграться) - триста долларов в месяц плюс трафик, так что пробовать осторожно. Другие подробности в документации:

https://docs.aws.amazon.com/network-firewall/latest/developerguide/logging-monitoring.html

#NF
​​Обнаружив ошибку CannotPullContainerError в логах CodeBuild:

Unable to pull customers container image: toomanyrequests. You have reached your pull rate limit.
You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limit (status code: BUILD_CONTAINER_UNABLE_TO_PULL_IMAGE)

Которая обозначает, что превышен лимит для вытягивания публичных образов из докерхаба, то решить вопрос можно, добавив аутентификацию:

https://aws.amazon.com/blogs/devops/how-to-use-docker-images-from-a-private-registry-in-aws-codebuild-for-your-build-environment/

Для чего потребуется создать секрет, прописав его ARN в CodeBuild. Для получения секрета нужно добавить сервисной роли права на secretsmanager:GetSecretValue:

https://docs.aws.amazon.com/codebuild/latest/userguide/sample-private-registry.html#private-registry-sample-create-project

#CodeBuild
EventBridge + Resource-based policy:

https://aws.amazon.com/blogs/compute/simplifying-cross-account-access-with-amazon-eventbridge-resource-policies/

С помощью Resource-based политик проще создавать мультиаккаунтные проекты. То есть, к примеру, когда фронт в одном аккаунте отправляет эвенты в центральный аккаунт, а бэкенд, допустим, с какими-то суровыми требованиями по безопасности, обрабатывает их в своём отдельном аккаунте.

#EventBridge
This media is not supported in your browser
VIEW IN TELEGRAM
Впечатляющая фича в новых версиях AWS CLI — автодополнение, в том числе для JMESPath (--query).

https://github.com/aws/aws-cli/issues/5664

Очень весомый повод обязательно перейти на вторую версию aws-cli.

Подробности в документации:

https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-parameters-prompting.html

#aws_cli
Лучшие фичи CloudFormation в 2020.
(можно выбрать несколько)
Anonymous Poll
27%
StackSets + Organizations
12%
CloudFormation Guard
43%
Увеличенные CFN квоты
39%
Change Sets + Nested Stacks
Forwarded from Rinat Uzbekov
В этом году мы будем делать стримы на русском с обзором и обсуждением новинок с re:invent. Вот тут можно зарегистрироваться, там же программа - https://rureinventawsrecaps2020.splashthat.com/
​​AWS_notes в Facebook:

https://www.facebook.com/aws.notes

Кому удобней читать/смотреть/следить/комментировать в Facebook - присоединяйтесь!
​​В консоли DynamoDB появился PartiQL редактор (см. картинку).

PartiQL ­- язык, запиленный Амазоном в 2019-м году для возможности работать в SQL-подобном стиле с данными любого формата:

https://aws.amazon.com/ru/blogs/opensource/announcing-partiql-one-query-language-for-all-your-data/

Или на русском на Хабре:

https://habr.com/ru/news/t/463253/

Кроме того, теперь любые изменения таблиц DynamoDB можно стримить в Kinesis.

#DynamoDB
S3 ­­— главные фичи 2020

Поддержка S3 Intelligent-Tiering для AWS Storage Gateway’s File Gateway

• Прокачавшиеся S3 Batch Operations:
Job Tags
Object Lock (Legal Hold + Retention)

SigV2 всё, теперь только SigV4

Автообновление содержимого S3 бакетов для FSx for Lustre

Три новые фичи сразу (в одной статье):
→ Условие для возможности по номеру AWS аккаунта зафильтровать принадлежащий ему бакет Bucket owner condition
Решение проблемы длиной в 15 летS3 Object Ownership
Поддержка Copy API для S3 Access Points

• Древние типы урлов для S3 объектов — вида s3.amazonaws.com/my-bucket — передумали убивать. Старые S3 бакеты продолжат (пожизненно) работать по такой схеме. Новые (теперь созданные) уже лишь как my-bucket.s3.amazonaws.com или my-bucket.s3.some-region.amazonaws.com. Update to Amazon S3 Path Deprecation Plan

• Свой собственный S3Amazon S3 on Outposts

• Прокачавшийся S3 Replication:
Delete marker replication
Metrics/notifications

S3 Intelligent-Tiering теперь поддерживает не только IA, но и Glacier + Deep Archive

• Дашборды использования S3 для всей организации с разбивкой по аккаунтам, регионам, Storage Class и бакетам — Amazon S3 Storage Lens

===

Предыдущие — главные S3 фичи 2019.

#итоги #S3
Лучшие посты из AWS блога по S3 за 2020-ый год:

Query Amazon S3 analytics data with Amazon Athena
Aggregating logs with S3 Same-Region Replication
Analyze your Amazon S3 spend using AWS Glue and Amazon Redshift
How to use KMS and IAM to enable independent security controls for encrypted data in S3
Querying data without servers or databases using Amazon S3 Select
IAM Access Analyzer flags unintended access to S3 buckets shared through access points
Discover, review, and remediate unintended access to S3 buckets shared through S3 Access Points
Encrypting existing Amazon S3 objects with the AWS CLI
Using dynamic Amazon S3 event handling with Amazon EventBridge
Managing delete marker replication in Amazon S3
How to manage retention periods in bulk using Amazon S3 Batch Operations
Replicating existing objects between S3 buckets
Changing your Amazon S3 encryption from S3-Managed to AWS KMS
Tighten S3 permissions for your IAM users and roles using access history of S3 actions
Securing Amazon S3 Glacier with a customer-managed encryption key
How to retroactively encrypt existing objects in Amazon S3 using S3 Inventory, Amazon Athena, and S3 Batch Operations
Auditing Amazon S3 encryption methods for object uploads in real time
Cross-account bulk transfer of files using Amazon S3 Batch Operations
Recovering from a disaster using AWS Storage Gateway and Amazon S3 Glacier
Uploading to Amazon S3 directly from a web or mobile application
Reliable event processing with Amazon S3 event notifications
Migrating and managing large datasets on Amazon S3 (Part 1)
Migrating and managing large datasets on Amazon S3 (Part 2)
Managing Amazon S3 access with VPC endpoints and S3 Access Points
Handling data erasure requests in your data lake with Amazon S3 Find and Forget

#S3
​​ABAC+SSO:

https://aws.amazon.com/blogs/aws/new-attributes-based-access-control-with-aws-single-sign-on/

Прошёл ровно год с появления ABAC (Attribute-Based Access Control) или Tag-Based Access Control. И вот теперь при наличии SSO давать доступ к ресурсам стало ещё проще и удобней.

Включаем ABAC на страничке настроек SSO (на картинке), как заработает, добавляем нужные атрибуты, которые будут пробрасываться. Например, банально username (на картинке). Теперь добавив к любому ресурсу в политики доступа условие:

"Condition": {
 "StringEquals": {
  "ec2:ResourceTag/username": "${aws:PrincipalTag/username}"
 }
}

Можно будет просто зайти в тэги, например, RDS базы данных, и добавить тэг username со значением Karen . В результате пользователь Karen, залогинившись через SSO, автоматически получит доступ к этой базе.

#ABAC #SSO