AWS Notes
5.59K subscribers
449 photos
42 videos
10 files
2.8K links
AWS Notes — Amazon Web Services Educational and Information Channel

Chat: https://t.iss.one/aws_notes_chat

Contacts: @apple_rom, https://www.linkedin.com/in/roman-siewko/
Download Telegram
Народ рапортует, что успешно сдаёт AWS сертификацию, которую недавно стало можно сдавать удалённо.

Слежение плохо реагирует, если принимать слишком выраженные позы — обхватывать лицо руками или подпирать подбородок, так что тренируйте осанку, однако в остальном отличий нет.

Из требований — нужно иметь надёжную связь и последнюю ОС (например, для маков это MacOS 13.x). В общем, процесс пошёл — можно (нужно) учить.

#AWS_Certification
EKS Networking

Хорошая статья с описанием работы сетевой части EKS в VPC:

https://aws.amazon.com/blogs/containers/de-mystifying-cluster-networking-for-amazon-eks-worker-nodes/

Рассмотрены различные варианты организации кластера и подсетей VPC — от публичных до полностью приватных, как настраивается и best practices.

#EKS
​​Amazon FSx - в 10 раз дешевле! Теперь с поддержкой HDD:

https://docs.aws.amazon.com/fsx/latest/WindowsGuide/optimize-fsx-costs.html

До этого сервис FSx поддерживал лишь SSD, что давало отличную скорость, но стоило денег. Теперь же, когда нет больших требований к скорости, за каждый гигабайт места можно платить в десять раз меньше:

https://aws.amazon.com/fsx/windows/pricing/

В результате теперь для простенькой FSx конфигурации на 10 ТБ вполне можно рассчитывать на 100$/мес (см. пример расчёта на картинке).

#FSx
​​aws --debug

В случае проблем не забывайте, что у AWS CLI есть стандартный ключик --debug, где можно увидеть всё, что происходит под капотом во время выполнения любой команды.

https://docs.aws.amazon.com/cli/latest/reference/index.html

Например, казалось бы, простая команда просмотра имеющихся бакетов aws s3 ls даёт на выходе огромнейший лог (см. картинку и это лишь часть).

Пользы в таком логе в общем случае нет, однако когда у вас какая-то непонятнейшая ошибка — очень может помочь.

Например, непонятно почему, команда отрабатывает не так, как вы планировали и пишет, что нет credentials или не хватает прав. Запустив с ключиком --debug, можно пронаблюдать, как команда aws перебирает источники credentials, на картинке это строчки с:

Looking for credentials via: env
Looking for credentials via: assume-role
Looking for credentials via: shared-credentials-file
Looking for credentials via: custom-process
Looking for credentials via: config-file
Looking for credentials via: ec2-credentials-file
Looking for credentials via: boto-config
Looking for credentials via: container-role
Looking for credentials via: iam-role

В результате наглядно видны приоритеты получения aws-cli credentials, что вполне может навести на мысль, почему не работает как нужно.

Итого — не забываем про ключик --debug, в проблематичных ситуациях попробовать с ним может решить проблему. А если и нет, то запостить куда-то с логами будет много показательней, чем на словах объяснять, что "не хочет работать".

#aws_cli
​​Официальный блог по удалённой AWS сертификации:

https://aws.amazon.com/blogs/training-and-certification/aws-certification-exams-now-available-virtually-for-added-convenience-and-flexibility/

Из плюсов — принимают экзамены в режиме 24/7, так что можно запланировать любое удобное время. Требования к железу/ПО/сети очень скромные и вполне выполнимые (см. картинку).

Вставать из-за компьютера и/или временно прерывать экзамен (например, нужно выйте по нужде) нельзя, иначе — в обычный оффлайн центр сдачи.

Заказать удалённую сдачу можно лишь через Pearson VUE, выбрав вариант «At my home or office».

#AWS_Certification
​​Delegated Administrator в AWS Organizations

Сначала новость - IAM Access Analyzer теперь работает на уровне организации:

https://aws.amazon.com/blogs/aws/new-use-aws-iam-access-analyzer-in-aws-organizations/

Кроме полезности самого этого нововведения, нужно отметить, что работа с организацией возможна лишь из мастер-аккаунта. Точней, была раньше лишь.

Писал раньше про изменения в AWS Organizations и вот первые результаты — IAM Access Analyzer можно запустить для работы с организацией из подаккаунта (например, какой-то security аккаунт), а не (только) из мастера.

Для этого сначала нужно дать права какому-то подаккаунту (на картинке кнопка Add delegated administrator). А после работать из подаккаунта в обычном режиме, при этом имея данные для IAM Access Analyzer-а со всей организации (в т.ч. из главного мастер-аккаунта).

Очень правильный, давно перезревший функционал — делегация админства организации в подаккаунт. Постепенно так, можно надеяться, удастся максимально вынести весь такой security функционал из мастера в security подаккант, что соответствует best practices работы в мульти-аккаунт схеме.

#IAM #Organizations
​​AWS СLI v.2 в Docker

Теперь не обязательно ставить aws-cli локально и всегда можно быстро попробовать с последней версией. В общем, удобная и важная возможность — запустить aws-cli в докере:

https://aws.amazon.com/blogs/developer/aws-cli-v2-docker-image/

Легко и просто работает через роль виртуалки, а чтобы прокинуть внутрь credentials или скачать/закачать какие-то файлы, то используем стандартный ключик монтирования -v:

docker run -it -v $(pwd):/aws amazon/aws-cli s3 cp 1.txt s3://my-bucket

#aws_cli
​​Стал доступен анонсированный 4 месяца назад сервис Amazon Detective, пополнивший набор security сервисов Амазона:

https://onecloudplease.com/blog/amazon-detective-following-the-breadcrumbs

Функционал Detective, связанный с поиском и визуализацией возможных проблем с безопасностью (собственно - потому "Детектив") наверняка сделает его стандартным по части безопасности в дополнение к GuardDuty, Security Hub сотоварищи.

#Detective #security
​​Если кто пропустил — у Телеграм есть отличная возможность собрать в кучу AWS каналочаты (на картинке).

В принципе, равно как и все другие темы. Каналы можно объединять друг в друга, исключать и другие удобные вещи. В общем, можно всё упорядочить.

На картинке десктопный вариант, но для мобильной версии папки также доступны:

https://telegram.org/blog/folders
​​Бесплатный AWS

#интересующимся #начинающим

Вот читаете вы различные статьи — для админов, разработчиков, девопсов и везде встречаете AWS. Собственно, наверняка, и на этот канал подписались, просто из интереса, чтобы узнать какие-то подробности по теме AWS и, возможно, в каком-то светлом будущем, вдруг получится поработать с ним самостоятельно.

И тут замечаете в очередном анонсе про новый сервис Амазона, который напрямую касается вашей работы. Например, вы пилите умный дом и увидели про AWS IoT Things Graph, тренируете свои сетки для распознавания объектов и услышали про Amazon Rekognition Custom Labels или просто в чате прочитали про поддержку новой версии базы PostgreSQL 12.x.

Эх, думаете вы, вот бы попробовать-покрутить такое. Классно было бы, если бы какие-то гранты давали интересующимся, чтобы они могли попробовать этот сервис Амазона бесплатно! Не буду же я платить за то, что, скорее, даст плюс моему работодателю, а руководство фиг допросишься попробовать Амазон.

Так, стоп-стоп. Всё есть. Давно. Много. И даже всегда (бесплатно)!

Халявный Амазон называется Free Tier, действует на год, а некоторые сервисы бесплатны всегда!

https://aws.amazon.com/free/

Регистрируетесь, логинитесь и используете AWS год бесплатно. Не все сервисы попадают в Free Tier, но их очень много, потому по ссылке выше целый раздел поиска по ним сделан, где можно посмотреть, что есть и сколько бесплатно в нужной вам области.

Если вы не начинающий и давно знали про Free Tier, всё равно полезно заглянуть — там наверняка есть новые сервисы, про которые вы не знали, а их можно попробовать самому или порекомендовать попробовать другим (бесплатно).

Кроме того, обратите внимание, что некоторые сервисы бесплатны всегда, поставьте галочку Always Free, чтобы увидеть, что два десятка сервисов бесплатны всегда! В какой-то доле, части и ограничениях, но всегда. Я даже знаю людей, что специально пилят штуки, архитектура которых максимально задействует такую вечную халяву. Причём это правильно и это правильные штуки.

Итого. Если вы просто читали и не пробовали AWS — прямо сейчас зарегистрируйте аккаунт и попробуйте Free Tier. Это несложно, небольно, бесплатно и полезно.

Вопросы, а также свой личный опыт использования Free Tier — пишите в чате.

#халява #AWS
​​Least Outstanding Requests в действии

В конце прошлого года к стандартному Round-Robin алгоритму раздачи трафика лоадбалансером добавился ещё и Least Outstanding Requests. Кто сие пропустил или просто интересно взглянуть, что это и как работает — очень хорошая статейка:

https://medium.com/dazn-tech/aws-application-load-balancer-algorithms-765be2eca158

Тестирование у автора показало местами кратный прирост скорости. Так что очень стоит взглянуть и попробовать у себя.

#ALB
Forwarded from Security Wine (бывший - DevSecOps Wine) (Denis Yakimov)
Top 10 security items to improve in your AWS account

Про каждый пункт можно найти в блоге AWS:
https://aws.amazon.com/ru/blogs/security/top-10-security-items-to-improve-in-your-aws-account/

#aws #bestpractice
10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры:

https://aws.amazon.com/blogs/compute/10-things-you-can-do-today-to-reduce-aws-costs/

Большинство советов капитанские — найти и убить/стопнуть неиспользуемые виртуалки, сделать снэпшот и прибить лишние/странные/старые EBS Volumes, стопнуть или убить с бэкапом левые RDS базы данных, прибить забытые и уже ненужные балансеры.

Список длинный, можно добавить чистку забытых ElasticIP, пожирающих 3.6$ в месяц за штуку, лишние VPC с NAT GW в комплекте, каждый из которых пожирает 33.5$, бесчисленные непонятно зачем сделанные снэпшоты баз данных, сто лет не нужных и ещё более ненужные снэпшоты давно почивших виртуалок. Отдельным пунктом идут забытые EBS Volumes с Provisoned IOPS, способные пожрать сотни и даже тысячи в месяц.

В общем, банальная статейка, но зайдите в Cost Explorer, наверняка найдётся что-то из списка (с вероятностью надёжности S3).

Отдельно добавлю (выделено в статье), что Savings Plans нужно рассматривать как способ экономии ПОСЛЕ чистки ресурсов, а не до. Иначе может оказаться, что согласно амазоновским же рекомендациям сначала прикупите себе SP на эн долларов в час, а после чистки окажется, что уже тратите меньше. Но платить придётся как минимум год.

#cost_optimization
Кто не может выдержать многочасовые курсы по AWS — есть маломинутные, в частности, по IAM:

https://www.youtube.com/playlist?list=PL3GN5xkPjwo23bCqxjxh0uXVW9tgIfhOi

В коротких роликах в простой форме раскрываются функционал, возможности и особенности работы сервиса Identity & Access Management.

#IAM #AWS_Certifiaction #video
​​Буквально три недели назад писал про SpeedTest для Amazon S3 Transfer Acceleration. Результаты которого показывали некоторое символическое ускорение от использования инфраструктуры Амазона — по сравнению с работой с бакетом напрямую, т.е. через интернет.

И вот посмотрите теперь на картинку, она стала примерно-показательной (тест из Минска).

Если раньше нужно было убеждать, объясняя про единицы проценты разницы, то теперь у многих (из Беларуси и России как минимум) такие тормоза при загрузке сайтов из Америки, а также просто AWS Console с заокеанскими (и просто далёкими) регионами, что убеждать не нужно — скорость работы через инфраструктуру Амазона быстрее в разы, а то и на порядки (с Австралией в 10-20 раз).

Наглядное подтверждение, почему для комфортной работы теперь нужно поднимать VPN в Европе.
Forwarded from Security Wine (бывший - DevSecOps Wine) (Denis Yakimov)
Service Control Policies Best Practices

Подробный пост с практическими рекомендациями Скотта Пайпера, посвященный тому, что такое Service Control Policies (SCP), распространенные ошибки, а также ряд примеров политик. Среди примеров - разрешение только утвержденных служб или регионов, запрет доступа root'а, отказ от возможности сделать VPC доступным из Интернета, защита security baseline.

https://summitroute.com/blog/2020/03/25/aws_scp_best_practices/

#aws
Ошибок и их причин при работе с S3 могут быть кучи. Упомяну ещё одну. Сообщение:

An error occurred (AccessDenied) when calling the GetObject operation: Access Denied

Может быть получено даже если у вас (юзера/роли) есть все нужные IAM права (вы перепровели два раза), а в бакете прописаны нужные Bucket Policy (вы перепроверили три и более раз).

Гляньте, подумайте, вспомните, посмотрите и проверьте — возможно бакет зашифрован с помощью ключа KMS, а не дефолтного AES 256 (S3-SSE). И если да, то наверняка в этом причина.

https://aws.amazon.com/premiumsupport/knowledge-center/decrypt-kms-encrypted-objects-s3/

Для получения из шифрованного бакета (шифрованного файла в нём) требуются права на kms:decrypt. А также разрешение использования ключа шифрования для вашего аккаунта.

При загрузке из шифрованного S3 бакета, в процессе выполнения s3:GetObject вы должны иметь право расшифровать полученное (kms:decrypt), иначе получате ошибку. И без намёков, что проблема не в правах на S3 (Bucket Policy), а что проблема в отсутствии прав IAM.

Так что будьте бдительны и помните сто первый тип ошибки загрузки с S3 — отсутствие прав на расшифровку kms:decrypt.

#S3 #IAM #KMS
​​Open Guide по AWS (og-aws) на русском:

https://github.com/nickpoida/og-aws/blob/master/translations/ru.md

Сам начинал переводить, а тут готовое — очень рекомендую. Местами информация старая и не актуальная, но для тех, кто почему-то пропустил и не читал оригинал — крайне рекомендуется и для начинающих, и для продолжающих.

#info