Загруженные с помощью S3 multipart upload части файла остаются в S3 такими же "кусками", как были туда загружены. Потому, если после их скорость скачивания критична, то стоит выбирать размеры multiparts, оптимальные для скачивания:

If objects are PUT using a multipart upload, it’s a good practice to GET them in the same part sizes (or at least aligned to part boundaries) for best performance.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/optimizing-performance-guidelines.html#optimizing-performance-guidelines-get-range

Последующая "дефрагментация" (на какие-то более оптимальные значения, если были выбраны неоптимальные размеры частей) загруженного файла на S3 невозможна. Хотя можно отправить файл в Glacier Deep Archive и после восстановить – он будет пересобран из мелких частей.

Также не стоит забывать, что недозагруженные "запчасти" занимают место и жрут какие-никакие деньги, потому для бакетов, где активно практикуется S3 multipart upload, нужно настраивать lifecycle политики:

https://aws.amazon.com/blogs/aws/s3-lifecycle-management-update-support-for-multipart-uploads-and-delete-markers/

#S3

​​Superwerker

Кто про что, а в̶ш̶и̶в̶ы̶й̶ ̶п̶р̶о̶ ̶б̶а̶н̶ю̶ я про AWS Organizations. Которой в этом году исполнится пять лет. И, значит, уже пятый год мы живём без гуманной процедуры удаления аккаунта, без временных аккаунтов.

За это время использование #multi_account_strategy стало обязательной практикой, в помощь чему появился сервис Control Tower, который в прошлом году обзавёлся возможностью работать в том числе и в существующей организации.

Однако порог входа для начала работы с лучшими практиками, которые даёт Organizations, пока по-прежнему высок. В попытке его снизить, намедни появился новый open source инструмент – superwerker:

https://github.com/superwerker/superwerker

Хороший набор #security #best_practices, правда, хороший – самое основное, что нужно иметь. Идеи по управлению аккаунтами в том числе позаимстованы из AWS Account Controller от Ian Mckay. Модный event-driven подход, (практически) бесплатные Лямбды.

Если бы хотел начать – точно бы обратил внимание. Заявленные фичи действительно самые нужные-востребованные:

▪️ Control Tower
▪️ AWS SSO
▪️ GuardDuty+dashboards
▪️ Security Hub+dashboards
▪️ AWS Backup
▪️ AWS Budgets
▪️ SCP guardrails
▪️ SSM+OpsCenter
▪️ CloudWatch dashboard

То, что (в первой версии) нет сетевой части, по мне так это и к лучшему. Система расширяемая и новые фичи вскоре наверняка будут с излишком.

Установка Superwerker официально доступна в качестве AWS Quick Start:

https://aws.amazon.com/quickstart/architecture/superwerker/

Хорошая штука, в общем. Можно рекомендовать.

#Organizations

Запись митапа AWS User Group Kazakhstan:

https://www.youtube.com/watch?v=YU8Kq8tg3Sc

00:00​​ Вступление
02:16​ Талгат Нурлыбаев — Академическая программа Amazon AWS в МУИТ и Казахстане
14:50​ Анатолий Макеев — Личный опыт практического использование AWS в GameDev
49:21​ Карен Товмасян — Абсолютное соответствие требованиям
01:17:16​ Василий Пантюхин — Конкурентный доступ к файлам, советы по использованию Amazon EFS

Митап состоялся 2021.02.10.

#video

🔸AWS Service Control Policies (SCPs)

Nice overview page of SCPs by Marco Lancini covering what they are, what they can’t do, and example policies like denying API calls from root users, denying the ability to disrupt CloudTrail or GuardDuty, and more.

https://cloudsecdocs.com/aws/devops/resources/scps/

#aws

​​Kubernetes 1.19 для EKS:

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html

Спустя официального релиза 1.19 прошло чуть менее полугода.

Сделанный в прошлый раз прогноз на эту версию был неточен на три недели, что много, а значит команда EKS продолжает ускоряться в своей поддержке новых версий. С учётом этого можно предположить, что версия 1.20 на Амазоне появится 22 мая.

#EKS

63-Node EKS Cluster running on a Single Instance with Firecracker

https://ongres.com/blog/63-node-eks-cluster-running-on-a-single-instance-with-firecracker/

#firecracker #eks #kubernetes #k8s

COBOL на Лямбде:

https://github.com/didier-durand/lambda-cobol

То, чего так не хватало.

#Lambda #пятничное

​​re:Web — запускаем классический сайт на Лямбде:

https://github.com/apparentorder/reweb

#Lambda #serverless

Биткоин-майнеры самые популярные из найденных с помощью GuardDuty проблем по взломанным EC2 инстансам:

https://twitter.com/jhencinski/status/1363496782739685376

#security

Одним из важных компонентов при создании и внедрении моделей машинного обучения является хранилище данных. На прошедшем re:Invent AWS выпустил Amazon SageMaker Feature Store - это специализированное хранилище признаков для машинного обучения.

Команда AWS RUS-CIS подготовила новую статью которая познакомит вас с этим новым сервисом.

https://lnkd.in/dCCuDaE

Хорошая, детальная и обзорная статья по теме безопасности AWS ­- с чего начать, какие сервисы использовать, что важно:

https://www.marcolancini.it/2021/blog-security-logging-cloud-environments-aws/

#security

☂️{AWS Lambda на TypeScript с SAM}⚡️

Пока не завезли официальную лямбду на TS, часто возникают сложности с развертыванием. Отличная статья с использованием штатных AWS сервисов.

In IaC we trust!

Читать

https://twitter.com/chriskalmar/status/1363759778858729482

https://github1s.com/ классная штука для гитхаба сделана

Бэкап для Amazon MSK:

https://aws.amazon.com/blogs/architecture/amazon-msk-backup-for-archival-replay-or-analytics/

#MSK

Всем привет!
Я к вам с невероятной новостью: сегодня официально был опубликован один из самых свежих и лучших workshop по мониторингу и анализу затрат (cost) в рамках AWS. Он был разработан людьми, которые каждый день помогают большым компаниям разобраться в затратах и включает в себя как Well Architected Framework, так и их личный опыт. В рамках него вы сможете найти ответы почти на все вопросы (точно на самые популярные): откуда трафик между зонами, операции по отдельным S3 bucket и очень очень много других деталей.

Вся визуализация построена на Amazon Quicksight и разворачивается за 20 минут.

Я очень рекомендую всем попробовать и скорее всего вы уже не захотите это удалять никогда!

Пара важных моментов:
1. Мы очень хотим услышать ваше мнение и пожелания по улучшению. В описании на сайте есть кнопочка для обратной связи
2. Создатели оценивают стоимость необходимых ресурсов в 35$ в месяц для небольших accounts (что по их мнению «небольшие» я не знаю)

А вот и ссылка!

https://cudos.workshop.aws/intro.html

Посмотреть п̶о̶т̶е̶л̶ ̶л̶и̶ ̶п̶е̶р̶е̶д̶ ̶с̶м̶е̶р̶т̶ь̶ю̶ ̶б̶о̶л̶ь̶н̶о̶й̶ историю масштабирования удалённых Auto Scaling Groups:

https://docs.aws.amazon.com/autoscaling/ec2/userguide/CHAP_Troubleshooting.html

aws autoscaling describe-scaling-activities --auto-scaling-group-name my-asg --include-deleted-groups

#ASG

​​PostgreSQL 13 на AWS:

https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_PostgreSQL.html#PostgreSQL.Concepts.General.version13

Отдельно анонс в AWS блоге:

https://aws.amazon.com/blogs/database/designing-high-performance-time-series-data-tables-on-amazon-rds-for-postgresql/

#RDS #Postgres

Когда ты на грустном проекте, но где хорошо платят.

https://www.youtube.com/watch?v=-UYgORr5Qhg

#пятничное