​​30 сентября в рамках онлайн-конференции Epam будет доклад о реальном примере переноса сложной он-прем инфраструктуры в AWS:

https://epa.ms/aws-azure-gcp

Начало в 10:00 по Киеву/Минску/Москве.

​​Версии AWS CLI

Стоит учесть, что когда пользуетесь примерами в документации, то там подразумевается использование последней на текущий момент — второй версии.

В основном она повторяет и расширяет возможности первой версии, но есть и критические отличия:

https://docs.aws.amazon.com/cli/latest/userguide/cliv2-migration.html

Одно из самых заметных — аутентификация в ECR, теперь это не aws ecr get-login, а aws ecr get-login-password:

https://docs.aws.amazon.com/AmazonECR/latest/userguide/Registries.html#registry_auth

В отличие от первой версии возвращает в stdout чисто пароль. Для старых скриптов (где доступна лишь первая версия) можно использовать следующую "замену":

aws ecr get-login --region eu-west-1 | awk '{print $6}'

В любом случае, всё новое уже лучше писать под последнюю версию aws-cli.

#aws_cli

Полезные записки для подготовки к сдаче на AWS Certified Solutions Architect Associate:

https://github.com/SkullTech/aws-solutions-architect-associate-notes

#AWS_Certification

30 сентября пройдёт CDK day:

https://www.cdkday.com/

Всё про AWS CDK, CDK8s (для куберов) и CDKtf (под Терраформ). Крутые спикеры, самые свежие и будущие фичи. Крайне рекомендуется даже просто ознакомиться.

Автоматизация настройки CloudWatch алярмов для виртуалок с помощью SSM:

https://aws.amazon.com/blogs/mt/automating-amazon-cloudwatch-alarms-with-aws-systems-manager/

#SSM #CloudWatch

Напомню, что сегодня в 19:00 по Киеву/Минску/Москве в рамках DevSecOps конференции Darko Meszaros расскажет про лучшие практики реализации Infrastructure as Code для AWS.

​​Экспорт данных PostgreSQL на S3:

https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/postgresql-s3-export.html

Экспорт делается помощью aws_s3 расширения:

CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE;

На данный момент можно экспортировать лишь в том же регионе:

psql=> SELECT aws_commons.create_s3_uri(
  'my-bucket',
  'my-filepath',
  'eu-west-1'
) AS s3_uri_1 \gset

Для доступа RDS на S3 нужно создать роль с правами s3:PutObject на нужный бакет и добавить эту роль к RDS-инстансу (см. картинку). Для этого в самом низу вкладки Connectivity & security есть пункт Manage IAM roles, где нужно выбрать созданную роль.

#RDS #S3

​​T3 инстансы для Amazon Elasticsearch Service:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/aes-supported-instance-types.html

В дополнение к дешёвым t2.micro/small/medium.elasticsearch доступны t3.small.elasticsearch и t3.medium.elasticsearch, которые стоят столько же, но быстрей и позволяют использовать до 100ГБ и 200ГБ места соответственно (в отличие от 35ГБ для всех T2).

#ES

🔸Awesome AWS S3 - Security, Tools and Intel

Collection of tools, techniques and useful links concerning security and exposed AWS S3 Buckets

https://github.com/mxm0z/awesome-sec-s3#awesome-aws-s3---security-tools-and-intel

#aws

​​Darko Meszaros: "Infrastructure IS Code on AWS":

https://www.youtube.com/watch?v=b7h2G6YidKs&t=567

Видео с DevSecOps конференции, прошедшей 24 сентября 2020-го года.

#video

С сегодняшнего для при покупке Savings Plan можно указывать дату в будущем, что удобно чтобы не держать эту дату в голове, когда у вас заканчивается предыдущий Savings Plan - https://aws.amazon.com/about-aws/whats-new/2020/09/queuing-purchases-of-savings-plans/

​​Наконец-то вышло обновление AWS Extend Switch Roles для переключения между аккаунтами с исправлением для работы в преобразившейся недавно AWS консоли.

Обратите внимание, что теперь список аккаунтов для переключения располагается не как раньше в менюшке самой AWS консоли, а при нажатии на сам ключик расширения (см. картинку).

S5Cmd - S3 на стеройдах

Сегодня расскажу про проект S5Cmd - отличный open source инструмент (изначально написанный ребятами из Peak Games) для ускорения и кастомизации процессов между S3 и локальной файловой системой. Три ключевых момента:
- скорость - S5Cmd написан на Go, максимально использует возможности параллельной обработки и transfer acceleration; собственно perfomance тесты есть на странице проекта (и ниже напишу свои результаты)
- привычная работа по маске (wildcard support); без всех этих exclude и include, которыми оперирует aws-cli
- работа в пакетном режиме на основе текстового командного файла либо pipe конвеера, что открывает произвольные варианты интеграции с unix shell

Чтобы не быть голословным, приведу результаты локального теста. Исходные установки: есть бакет, в котором хранятся разбитые по датам данные нескольких проектов. То есть s3://bucket-name/YYYY/MM/DD/prj1..., prj2..., и т.д. Каждый проект состоит из нескольких файлов. Копирую себе данные за один день по одному проекту:
1. В aws-cli это выглядит так:

 s3 cp s3://bucket-name/2020/09/27/ ./ --exclude "*" --include "prj1*" --recursive

- минута и 43 секунды. Замечу, что несмотря на плоскую структуру внутри дня, без recursive не обойтись
2. В s5cmd это выглядит лаконичнее:

 cp 's3://bucket-name/2020/09/27/prj1*' ./

- 37 секунд - в три раза быстрее

Дополнительно попробовал batch-режим, собрав предварительно с помощью ls и awk файл, где каждая строка - это копирование одного объекта. Здесь получилось 54 секунды за счёт какой-то задержки на старте (видимо файл парсится во внутреннюю структуру для исключения конфликтов, например сочетания команд копирования и удаления). Однако это всё равно довольно хорошо, если использовать командный файл по назначению - как сценарий разнородных действий.

Рекомендую присмотреться, если у вас есть соответствующие задачи (например, работа с данными s3 на серверной стороне за рамками AWS-инфраструктуры). Авторы из Amazon инструмент также хвалят.

Продолжаем тему PHP + Serverless, новый пост опубликован: https://aws.amazon.com/ru/blogs/rus/introducing-the-serverless-lamp-stack-part-2-relational-databases/

Солидному человеку — солидная ссылка:

AWS Ambassadors - Epam

​​Продолжение отличной серии по стратегии тэгирования AWS:

https://www.cloudforecast.io/blog/maintain-aws-tags-when-you-fall-behind-part-3/

#tags #best_practices

🔸Security Architecture Review Of A Cloud Native Environment

Walkthrough of a cloud security assessment performed on an organisation which had recently moved their infrastructure from an on-prem to a cloud native solution (AWS).

https://notsosecure.com/security-architecture-review-of-a-cloud-native-environment/

#aws

​​SCP и мастер (root) AWS-аккаунт

Стоит помнить, что "всемогущие" политики SCP, которые так удобно можно применять ко всей организации — не применяются к юзерам и ролям мастер аккаунта (root-аккаунта):

https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_scps.html

Потому, если, например, думаете, включать или не включать CloudTrail в регионах, что планируете запретить через SCP — однозначно стоит включать. Уже лишь как раз по причине того, что в мастере SCP не сработает, а две защиты лучше, чем одна (в подаккаунтах).

#SCP #Organizations