Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB:

https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/

This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture.

#cost_optimization

​​Добавление заголовков на ответы для CloudFront:

https://aws.amazon.com/blogs/networking-and-content-delivery/amazon-cloudfront-introduces-response-headers-policies/

Теперь CORS, Cache-Control и прочие STS, CSP сотоварищи можно добавлять прямо в CloudFront с помощью response headers policies:

https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/understanding-response-headers-policies.html

Можно удалять свои Edge@Lambda и прочие велосипеды, прикрученные для реализации такого очевидного функционала.

#CloudFront

🗒️ 4 ноября пройдёт AWS Resilience and Chaos Engineering Day:

https://pages.awscloud.com/EMEA-field-OE-resilience-chaos-engineering-day-202111-reg-event.html

🕛 Начало в 12:00 GMT+3.

Доклады:
▪️ Getting started with AWS Fault Injection Simulator
▪️ Testing resiliency using chaos engineering
▪️ Achieving Continuous Resilience in DevOps through ML and AI
▪️ Improve Resilience with Controlled Chaos Engineering
▪️ Chaos Engineering for Serverless Architectures

👉 Присоединяйтесь!

👆 Присоединяйтесь!

Cloud Security Tooling for the Sole Practitioner:

https://www.youtube.com/watch?v=7gMjJVdUmwU

Отличный старт для безопасника AWS проектов - рекомендуемые инструменты с конкретными примерами работы и советами.

#security #devsecops

​​Записи AWS Resilience and Chaos Engineering Day:

https://pages.awscloud.com/EMEA-field-OE-Resilience-and-Chaos-Engineering-2021-ondemand.html

#FIS

Самое интересное на AWS за октябрь 2021

1. NLB с поддержкой TLS 1.3.
2. RDS Proxy + MySQL 8.0.
3. Лямбду можно триггерить для SQS из другого аккаунта.
4. C6i виртуалки на Intel.
5. AWS Load Balancer Controller 2.3.
6. Auto Scaling Groups можно фильтровать по тэгам.
7. AMI образы можно шарить на OU или организацию.
8. OpenSearch 1.1.0 с поддержкой Cross-Cluster Replication.
9. AWS Instanse Scheduler 2.0.
10. Поддержка Bottlerocket для EKS Managed Node Groups.

===

⚠️Опрос 👉 самые интересные AWS события октября 2021.👈

#AWS_month

100 бесплатных курсов от AWS - https://www.amazon.com/b/?ie=UTF8&node=14297978011&ref=learnerHubCoursesVanityUrl

всем привет. сравнил на днях перфоманс x86 vs ARM AWS Lambda для большинства языков
https://filia-aleks.medium.com/aws-lambda-battle-x86-vs-arm-graviton2-perfromance-3581aaef75d9

​​DevOps Guru для всей организации:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-devops-guru-multi-account-insight-aws-organizations/

Теперь можно выдать в девопс-аккаунте права для работы DevOps Guru со всей организацией (Delegated Administrator). С учётом того, что DevOps Guru стал поддерживать ещё больше EKS Insights метрик, то получается солидный инструмент.

Не вместо девопса, понятно – это больше для броского словца, но весьма полезный инструмент для девопса. Может быть дорогой, но хипстерский крутой и полезный. 😀

#DevOpsGuru #Organizations #devops

​​Data Classification — Secure Cloud Adoption:

https://d1.awsstatic.com/whitepapers/compliance/AWS_Data_Classification.pdf

Обязательный этап начала выстраивания процессов безопасности на проекте — классификация данных по уровням секретности. В документы перечислены текущие подходы для США и Великобритании, а также даны рекомендации с учётом возможностей AWS сервисов.

#security #devsecops

Итоги недели на AWS (31 октября - 6 ноября 2021)

🔹 Amazon Time Sync Service выкатил опенсорсную библиотеку ClockBound, с помощью которой можно просто генерировать и сравнивать timestamps.

Кто пропустил и первый раз слышит, что есть целый сервис Amazon Time Sync Service, то да — уже 4 года как. До этого в приватных подсетях часы могли (и убегали) в виртуалках без NAT GW и получались прекраcные глюки, когда не было доступа на AWS сервисы, т.к. их сертификаты могли не валидироваться. В общем, кому интересна эта специфичная тема, чем сервис отличается от гуглового TrueTime, то можно почитать обсуждение этого на Hacker News.

🔹 Amazon DevOps Guru неплохо прокачался:
• Увеличилось количество Amazon EKS метрик, которые отслеживает (как для инстансов, так и для подов).
• Теперь он интегрируется с Organizations и может работать через delegated admin.

Можно предположить, что DevOps Guru наверняка что-то выкатит на reInvent, т.к. неспроста вышли полезные статьи по его использованию:
• Proactive Insights for Amazon ECS.
• Anomaly Detection in AWS Lambda.

Кто не в курсе про DevOps Guru, то это AI-сервис, который (постоянно) анализирует CloudWatch + CloudTrail + Config + X-Ray и на основе этого строит прогнозы и делает (полезные) рекомендации. Для простых проектов популярны шутки, что он может заменять девопса. И вот если (когда) он научится работать Prometheus-метриками (AMP), то они запросто могут перестать быть шутками. 😁

🔹 Amazon Corretto 17 теперь новая LTS версия (поддержка до 2028 года) для Java. Предыдущие
LTS версии Corretto 8 и 11 также будут поддерживаться (до 2026 и 2027 соответственно), однако рекомендуется перейти как минимум на 11-ю версию.

🔹 AWS Secrets Manager увеличил максимальное кол-во секретов до 500 000 в одном аккаунте одного региона. Про эту новость из рубрики "but why?!" уже писал, потому лишь добавлю, что нужно учредить специальную медаль «Секретный Спонсор AWS», т.к. 500 000 * 0.40$ = 200 000$ в месяц.

🔹 Amazon CloudFront теперь сам умеет добавлять CORS. Популярная рубрика "finally". Поддержка CloudFormation на данный момент отсутствует. Но это уже другая популярная рубрика.

🔹 AWS Lambda теперь умеет использовать ECR из других аккаунтов. Всё та же популярная рубрика "finally". Обычно используется одно место (аккаунт) для ECR образов на разные окружения и потому приходилось их реплицировать в аккаунт с Лямбдой. Теперь такой проблемы нет, хотя нужно учесть, что из других регионов по-прежнему нельзя. Но это уже решается настройкой всё той же репликации ECR.

🔹 AWS Toolkits обновился с поддержкой AWS Cloud Control API и потому теперь можно в любимом IDE (Cloud9, JetBrains или VS Code) работать с 200+ типами ресурсов.

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 31 октября - 6 ноября 2021.

#AWS_week

​​Новый AWS регион в 2023-м году — Калгари, Канада:

https://aws.amazon.com/blogs/aws/in-the-works-aws-canada-west-calgary-region/

Регион планируется к открытию в конце 2023-го или же в самом начале 2024-го года.

Итого на текущий момент Амазон строит одновременно 9 регионов: ‼️

• Asia Pacific (Jakarta)
• Europe (Barcelona)
• Europe (Zurich)
• Asia Pacific (Hyderabad)
• Asia Pacific (Melbourne)
• Middle East (UAE)
• Middle East (Israel)
• Asia Pacific (Auckland)
• Canada West (Calagary)

Стоит на re:Invent можно ожидать анонс десятого? Эстония? 😏

#AWS_Regions

​​Докажи, что ты не робот или Captcha от AWS WAF:

https://efw47fpad9.execute-api.us-east-1.amazonaws.com/latest

Пройди все уровни и получи скидку на сертификат подтверждение, что ты человек. Всё не так просто, как кажется.

Весьма своеобразная имплементация капчи. При этом совершенно официальная, вот документация:

https://docs.aws.amazon.com/waf/latest/developerguide/waf-captcha-challenge.html

Первоисточник и тестовый URL от прошедшего капчу Ian Mckay.

#WAF #странное

​​CI/CD best practices — AWS Whitepaper «Practicing Continuous Integration and Continuous Delivery on AWS»:

https://docs.aws.amazon.com/whitepapers/latest/practicing-continuous-integration-continuous-delivery/testing-stages-in-continuous-integration-and-continuous-delivery.html

90% рекомендаций не привязаны к AWS, потому полезны для подавляющего большинства проектов/команд.

👍Do:
▪️ Treat your infrastructure as code
▫️▪️ Use version control for your infrastructure code.
▫️▪️ Make use of bug tracking/ticketing systems.
▫️▪️ Have peers review changes before applying them.
▫️▪️ Establish infrastructure code patterns/designs.
▫️▪️ Test infrastructure changes like code changes.
▪️ Put developers into integrated teams of no more than 12 self-sustaining members.
▪️ Have all developers commit code to the main trunk frequently, with no long-running feature branches.
▪️ Consistently adopt a build system such as Maven or Gradle across your organization and standardize builds.
▪️ Have developers build unit tests toward 100% coverage of the code base.
▪️ Ensure that unit tests are 70% of the overall testing in duration, number, and scope.
▪️ Ensure that unit tests are up-to-date and not neglected. Unit test failures should be fixed, not bypassed.
▪️ Treat your continuous delivery configuration as code.
▪️ Establish role-based security controls (that is, who can do what and when).
▫️▪️ Monitor/track every resource possible.
▫️▪️ Alert on services, availability, and response times.
▫️▪️ Capture, learn, and improve.
▫️▪️ Share access with everyone on the team.
▫️▪️ Plan metrics and monitoring into the lifecycle.
▪️ Keep and track standard metrics.
▫️▪️ Number of builds.
▫️▪️ Number of deployments.
▫️▪️ Average time for changes to reach production.
▫️▪️ Average time from first pipeline stage to each stage.
▫️▪️ Number of changes reaching production.
▫️▪️ Average build time.
▪️ Use multiple distinct pipelines for each branch and team.

👎Don’t:
▪️ Have long-running branches with large complicated merges.
▪️ Have manual tests.
▪️ Have manual approval processes, gates, code reviews, and security reviews.


#devops #best_practices

​​Рекомендации по реализации микросервисной архитектуры на AWS:

https://docs.aws.amazon.com/whitepapers/latest/microservices-on-aws/microservices-on-aws.html

Документ AWS Whitepaper «Implementing Microservices on AWS» описывает подходы к реализации масштабируемой и надёжной микросервисной архитектуры, в том числе с использованием serverless подхода. Описываются подходы для мониторинга распределённых по сервисам окружений и реализации асинхронной работы.

#design #best_practices

#машины_aws

Пока я работаю над длиннопостом, два занимательных и одновременно неприятных факта про DynamoDB:

1. DynamoDB TTL - бесплатный server-side способ удаления устаревших данных не предоставляет гарантий удаления в срок истечения! Хуже того то, что объекты с истекшим сроком жизни все еще отображаются в запросах, что перекладывает ответственность за фильтрацию валидных данных на клиента. Не смотря на то, что в среднем удаление занимает до 48 часов, мне известны случаи о задержке аж на 10 суток.

2. Capacity Units распределяются по шардам (Partition Key) таблиц, что может привести к ProvisionedThroughputExceededException при том, что throttle происходит только на конкретном шарде - так называемая проблема Hot Partition. По результатам общения с техподдержкой выяснилось, что:
- В режиме provisioned CUs, они равномерно распределяются по шардам; далее DDB будет распределять CU на более активные шарды. Как происходит распределение, когда количество шардов превышает количество CU, неизвестно.
- В режиме OnDemand, каждый шард получает 1000 WCU и 3000 RCU сразу же и перераспределения между шардами уже не происходит, поскольку 1000 записей и 3000 чтений в секунду - верхний порог.

Казалось бы мелочи, но эти мелочи выпили мне немало крови в Uber. И заметно сузили мой личный список подходящих бизнес задач для DynamoDB.

​​BLEA (Baseline Environment on AWS) или японский мульти-аккаунт:

https://github.com/aws-samples/baseline-environment-on-aws

Полностью разворачивается с помощью AWS CDK, одинаково работает и с Single Account и в Multi Account среде. То есть ставится и на просто один аккаунт, и на Organizations, и на Organizations с Control Tower.

Выглядит очень круто. Гугло-перевод статьи про BLEA из японского AWS блога:

https://aws-amazon-com.translate.goog/jp/blogs/news/announcing-baseline-environment-on-aws/?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=be&_x_tr_pto=nui

Картинки и набор сервисов впечатляют, особенно с учётом того, что благодаря использованию CDK, функционал может расширяться очень быстро.

Однозначно стоит ознакомиться поближе и наверняка увидим подробности на re:Invent.

#CDK #multi_account_strategy #single_account_strategy #security