Для всех, комк интересен _локальный_ запуск контейнеров на платформе AWS - https://www.youtube.com/watch?v=DPMx7qk9gZg

Меньше месяца до re:Invent 2021. Можно (нужно) делать прогнозы.

Amazon S3 - прогнозы

🔸 Глобальная S3 файловая система

Тренд на "мультирегиональность всего" для S3 в этом году уже вылился в фичу Amazon S3 Multi-Region Access Points. Что круто, хотя, понятно, и за (дополнительные) деньги.

Но что дальше? Что на счёт глобальной рапределённой глобальной файловой системы на базе S3?

Есть популярная s3fs, а недавно Яндекс выкатил сильно улучшенную по производительности GeeseFS на Go, полностью совместимую с Amazon S3. Чем ответит AWS?

🔸 S3 bucket Backup

Дальше, обещали бэкап для S3 бакетов — я ведь помню (потому что записываю)! 😁 Где он, спрашивается?! Давайте уже, сколько ж можно.

🔸 S3 bucket name - проблема уникальности

В прошлом году порешали, наконец, консистентность, которая с момента создания S3 создавала столько сложных вопросов при сдаче на AWS сертификацию.

Другая такая же застарелая проблема - уникальность имени бакетов. Уже есть и средства для решения (S3 Access Points), и прямо реальная очевидность проблемы в виде S3 Bucket Namesquatting, когда команде из AWS Security пришлось просить Ian Mckay вернуть им нужные для работы имена.

Можно ожидать её решения. Нужно закрывать столь застарелый technical debt.

===

А у вас какие прогнозы на re:Invent (и просто пожелания) по фичам для Amazon S3?

#S3 #reInvent

Как раз в продолжение темы предыдущего поста - советы по мультирегиональной репликация S3:

https://aws.amazon.com/blogs/storage/ten-tips-for-multi-tenant-multi-region-object-replication-in-amazon-s3/

This blog summarized the challenges ISV customers face when building a durable, scalable, and highly available data storage layer for their multi-tenant, multi-Region applications. Examples include the need to replicate data within and between AWS Regions and to reduce undifferentiated heavy lifting. 

#S3

Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB:

https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/

This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture.

#cost_optimization

​​Добавление заголовков на ответы для CloudFront:

https://aws.amazon.com/blogs/networking-and-content-delivery/amazon-cloudfront-introduces-response-headers-policies/

Теперь CORS, Cache-Control и прочие STS, CSP сотоварищи можно добавлять прямо в CloudFront с помощью response headers policies:

https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/understanding-response-headers-policies.html

Можно удалять свои Edge@Lambda и прочие велосипеды, прикрученные для реализации такого очевидного функционала.

#CloudFront

🗒️ 4 ноября пройдёт AWS Resilience and Chaos Engineering Day:

https://pages.awscloud.com/EMEA-field-OE-resilience-chaos-engineering-day-202111-reg-event.html

🕛 Начало в 12:00 GMT+3.

Доклады:
▪️ Getting started with AWS Fault Injection Simulator
▪️ Testing resiliency using chaos engineering
▪️ Achieving Continuous Resilience in DevOps through ML and AI
▪️ Improve Resilience with Controlled Chaos Engineering
▪️ Chaos Engineering for Serverless Architectures

👉 Присоединяйтесь!

👆 Присоединяйтесь!

Cloud Security Tooling for the Sole Practitioner:

https://www.youtube.com/watch?v=7gMjJVdUmwU

Отличный старт для безопасника AWS проектов - рекомендуемые инструменты с конкретными примерами работы и советами.

#security #devsecops

​​Записи AWS Resilience and Chaos Engineering Day:

https://pages.awscloud.com/EMEA-field-OE-Resilience-and-Chaos-Engineering-2021-ondemand.html

#FIS

Самое интересное на AWS за октябрь 2021

1. NLB с поддержкой TLS 1.3.
2. RDS Proxy + MySQL 8.0.
3. Лямбду можно триггерить для SQS из другого аккаунта.
4. C6i виртуалки на Intel.
5. AWS Load Balancer Controller 2.3.
6. Auto Scaling Groups можно фильтровать по тэгам.
7. AMI образы можно шарить на OU или организацию.
8. OpenSearch 1.1.0 с поддержкой Cross-Cluster Replication.
9. AWS Instanse Scheduler 2.0.
10. Поддержка Bottlerocket для EKS Managed Node Groups.

===

⚠️Опрос 👉 самые интересные AWS события октября 2021.👈

#AWS_month

100 бесплатных курсов от AWS - https://www.amazon.com/b/?ie=UTF8&node=14297978011&ref=learnerHubCoursesVanityUrl

всем привет. сравнил на днях перфоманс x86 vs ARM AWS Lambda для большинства языков
https://filia-aleks.medium.com/aws-lambda-battle-x86-vs-arm-graviton2-perfromance-3581aaef75d9

​​DevOps Guru для всей организации:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-devops-guru-multi-account-insight-aws-organizations/

Теперь можно выдать в девопс-аккаунте права для работы DevOps Guru со всей организацией (Delegated Administrator). С учётом того, что DevOps Guru стал поддерживать ещё больше EKS Insights метрик, то получается солидный инструмент.

Не вместо девопса, понятно – это больше для броского словца, но весьма полезный инструмент для девопса. Может быть дорогой, но хипстерский крутой и полезный. 😀

#DevOpsGuru #Organizations #devops

​​Data Classification — Secure Cloud Adoption:

https://d1.awsstatic.com/whitepapers/compliance/AWS_Data_Classification.pdf

Обязательный этап начала выстраивания процессов безопасности на проекте — классификация данных по уровням секретности. В документы перечислены текущие подходы для США и Великобритании, а также даны рекомендации с учётом возможностей AWS сервисов.

#security #devsecops

Итоги недели на AWS (31 октября - 6 ноября 2021)

🔹 Amazon Time Sync Service выкатил опенсорсную библиотеку ClockBound, с помощью которой можно просто генерировать и сравнивать timestamps.

Кто пропустил и первый раз слышит, что есть целый сервис Amazon Time Sync Service, то да — уже 4 года как. До этого в приватных подсетях часы могли (и убегали) в виртуалках без NAT GW и получались прекраcные глюки, когда не было доступа на AWS сервисы, т.к. их сертификаты могли не валидироваться. В общем, кому интересна эта специфичная тема, чем сервис отличается от гуглового TrueTime, то можно почитать обсуждение этого на Hacker News.

🔹 Amazon DevOps Guru неплохо прокачался:
• Увеличилось количество Amazon EKS метрик, которые отслеживает (как для инстансов, так и для подов).
• Теперь он интегрируется с Organizations и может работать через delegated admin.

Можно предположить, что DevOps Guru наверняка что-то выкатит на reInvent, т.к. неспроста вышли полезные статьи по его использованию:
• Proactive Insights for Amazon ECS.
• Anomaly Detection in AWS Lambda.

Кто не в курсе про DevOps Guru, то это AI-сервис, который (постоянно) анализирует CloudWatch + CloudTrail + Config + X-Ray и на основе этого строит прогнозы и делает (полезные) рекомендации. Для простых проектов популярны шутки, что он может заменять девопса. И вот если (когда) он научится работать Prometheus-метриками (AMP), то они запросто могут перестать быть шутками. 😁

🔹 Amazon Corretto 17 теперь новая LTS версия (поддержка до 2028 года) для Java. Предыдущие
LTS версии Corretto 8 и 11 также будут поддерживаться (до 2026 и 2027 соответственно), однако рекомендуется перейти как минимум на 11-ю версию.

🔹 AWS Secrets Manager увеличил максимальное кол-во секретов до 500 000 в одном аккаунте одного региона. Про эту новость из рубрики "but why?!" уже писал, потому лишь добавлю, что нужно учредить специальную медаль «Секретный Спонсор AWS», т.к. 500 000 * 0.40$ = 200 000$ в месяц.

🔹 Amazon CloudFront теперь сам умеет добавлять CORS. Популярная рубрика "finally". Поддержка CloudFormation на данный момент отсутствует. Но это уже другая популярная рубрика.

🔹 AWS Lambda теперь умеет использовать ECR из других аккаунтов. Всё та же популярная рубрика "finally". Обычно используется одно место (аккаунт) для ECR образов на разные окружения и потому приходилось их реплицировать в аккаунт с Лямбдой. Теперь такой проблемы нет, хотя нужно учесть, что из других регионов по-прежнему нельзя. Но это уже решается настройкой всё той же репликации ECR.

🔹 AWS Toolkits обновился с поддержкой AWS Cloud Control API и потому теперь можно в любимом IDE (Cloud9, JetBrains или VS Code) работать с 200+ типами ресурсов.

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 31 октября - 6 ноября 2021.

#AWS_week

​​Новый AWS регион в 2023-м году — Калгари, Канада:

https://aws.amazon.com/blogs/aws/in-the-works-aws-canada-west-calgary-region/

Регион планируется к открытию в конце 2023-го или же в самом начале 2024-го года.

Итого на текущий момент Амазон строит одновременно 9 регионов: ‼️

• Asia Pacific (Jakarta)
• Europe (Barcelona)
• Europe (Zurich)
• Asia Pacific (Hyderabad)
• Asia Pacific (Melbourne)
• Middle East (UAE)
• Middle East (Israel)
• Asia Pacific (Auckland)
• Canada West (Calagary)

Стоит на re:Invent можно ожидать анонс десятого? Эстония? 😏

#AWS_Regions

​​Докажи, что ты не робот или Captcha от AWS WAF:

https://efw47fpad9.execute-api.us-east-1.amazonaws.com/latest

Пройди все уровни и получи скидку на сертификат подтверждение, что ты человек. Всё не так просто, как кажется.

Весьма своеобразная имплементация капчи. При этом совершенно официальная, вот документация:

https://docs.aws.amazon.com/waf/latest/developerguide/waf-captcha-challenge.html

Первоисточник и тестовый URL от прошедшего капчу Ian Mckay.

#WAF #странное

​​CI/CD best practices — AWS Whitepaper «Practicing Continuous Integration and Continuous Delivery on AWS»:

https://docs.aws.amazon.com/whitepapers/latest/practicing-continuous-integration-continuous-delivery/testing-stages-in-continuous-integration-and-continuous-delivery.html

90% рекомендаций не привязаны к AWS, потому полезны для подавляющего большинства проектов/команд.

👍Do:
▪️ Treat your infrastructure as code
▫️▪️ Use version control for your infrastructure code.
▫️▪️ Make use of bug tracking/ticketing systems.
▫️▪️ Have peers review changes before applying them.
▫️▪️ Establish infrastructure code patterns/designs.
▫️▪️ Test infrastructure changes like code changes.
▪️ Put developers into integrated teams of no more than 12 self-sustaining members.
▪️ Have all developers commit code to the main trunk frequently, with no long-running feature branches.
▪️ Consistently adopt a build system such as Maven or Gradle across your organization and standardize builds.
▪️ Have developers build unit tests toward 100% coverage of the code base.
▪️ Ensure that unit tests are 70% of the overall testing in duration, number, and scope.
▪️ Ensure that unit tests are up-to-date and not neglected. Unit test failures should be fixed, not bypassed.
▪️ Treat your continuous delivery configuration as code.
▪️ Establish role-based security controls (that is, who can do what and when).
▫️▪️ Monitor/track every resource possible.
▫️▪️ Alert on services, availability, and response times.
▫️▪️ Capture, learn, and improve.
▫️▪️ Share access with everyone on the team.
▫️▪️ Plan metrics and monitoring into the lifecycle.
▪️ Keep and track standard metrics.
▫️▪️ Number of builds.
▫️▪️ Number of deployments.
▫️▪️ Average time for changes to reach production.
▫️▪️ Average time from first pipeline stage to each stage.
▫️▪️ Number of changes reaching production.
▫️▪️ Average build time.
▪️ Use multiple distinct pipelines for each branch and team.

👎Don’t:
▪️ Have long-running branches with large complicated merges.
▪️ Have manual tests.
▪️ Have manual approval processes, gates, code reviews, and security reviews.


#devops #best_practices