Amazon CloudWatch Agent заопенсорсился:

https://github.com/aws/amazon-cloudwatch-agent

Он теперь входит в Amazon Linux 2, где ставится командой:

sudo yum install amazon-cloudwatch-agent

#CloudWatch #Amazon_Linux

Вообще, нужно отметить, что в этом году CloudWatch серьёзно прокачался:

• объединение алярмов
• интегрировался с AWS Chatbot
• заработал быстрей
• увеличил квоты
• логи для Динамы
• CloudWatch Synthetics
• добавилась поддержка для Blockchain, Media сервисов, DataSync , DocumentDB, AppFlow
• логи в VS Code

А из самых недавних это поддержка Prometheus и особенно, если пропустили — возможность шарить дашборды любому встречному.

То есть теперь можно дать доступ к вашим графикам-логам любому человеку (без AWS аккаунта) — просто как публичная ссылка, логин-пароль по почте или через SSO. Это очень круто — можно давать доступ руководству на время или постоянно простым копированием ссылки.

Опенсорсивание лишь показывает нацеленность на контейнеры и попытку конкурировать с популярными продуктами в этой области. И теперь при выборе решения для логирования-мониторинга кандидатура CloudWatch смотрится совсем в другом свете.

А ведь год ещё не закончился.

#CloudWatch

​​GitHub Action для AWS Copilot:

https://github.com/softprops/setup-aws-copilot

#ECS

​​Большая подборка официальных AWS видео с разбивкой по темам:

https://awsvideocatalog.com

#video

​​30 сентября в рамках онлайн-конференции Epam будет доклад о реальном примере переноса сложной он-прем инфраструктуры в AWS:

https://epa.ms/aws-azure-gcp

Начало в 10:00 по Киеву/Минску/Москве.

​​Версии AWS CLI

Стоит учесть, что когда пользуетесь примерами в документации, то там подразумевается использование последней на текущий момент — второй версии.

В основном она повторяет и расширяет возможности первой версии, но есть и критические отличия:

https://docs.aws.amazon.com/cli/latest/userguide/cliv2-migration.html

Одно из самых заметных — аутентификация в ECR, теперь это не aws ecr get-login, а aws ecr get-login-password:

https://docs.aws.amazon.com/AmazonECR/latest/userguide/Registries.html#registry_auth

В отличие от первой версии возвращает в stdout чисто пароль. Для старых скриптов (где доступна лишь первая версия) можно использовать следующую "замену":

aws ecr get-login --region eu-west-1 | awk '{print $6}'

В любом случае, всё новое уже лучше писать под последнюю версию aws-cli.

#aws_cli

Полезные записки для подготовки к сдаче на AWS Certified Solutions Architect Associate:

https://github.com/SkullTech/aws-solutions-architect-associate-notes

#AWS_Certification

30 сентября пройдёт CDK day:

https://www.cdkday.com/

Всё про AWS CDK, CDK8s (для куберов) и CDKtf (под Терраформ). Крутые спикеры, самые свежие и будущие фичи. Крайне рекомендуется даже просто ознакомиться.

Автоматизация настройки CloudWatch алярмов для виртуалок с помощью SSM:

https://aws.amazon.com/blogs/mt/automating-amazon-cloudwatch-alarms-with-aws-systems-manager/

#SSM #CloudWatch

Напомню, что сегодня в 19:00 по Киеву/Минску/Москве в рамках DevSecOps конференции Darko Meszaros расскажет про лучшие практики реализации Infrastructure as Code для AWS.

​​Экспорт данных PostgreSQL на S3:

https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/postgresql-s3-export.html

Экспорт делается помощью aws_s3 расширения:

CREATE EXTENSION IF NOT EXISTS aws_s3 CASCADE;

На данный момент можно экспортировать лишь в том же регионе:

psql=> SELECT aws_commons.create_s3_uri(
  'my-bucket',
  'my-filepath',
  'eu-west-1'
) AS s3_uri_1 \gset

Для доступа RDS на S3 нужно создать роль с правами s3:PutObject на нужный бакет и добавить эту роль к RDS-инстансу (см. картинку). Для этого в самом низу вкладки Connectivity & security есть пункт Manage IAM roles, где нужно выбрать созданную роль.

#RDS #S3

​​T3 инстансы для Amazon Elasticsearch Service:

https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/aes-supported-instance-types.html

В дополнение к дешёвым t2.micro/small/medium.elasticsearch доступны t3.small.elasticsearch и t3.medium.elasticsearch, которые стоят столько же, но быстрей и позволяют использовать до 100ГБ и 200ГБ места соответственно (в отличие от 35ГБ для всех T2).

#ES

🔸Awesome AWS S3 - Security, Tools and Intel

Collection of tools, techniques and useful links concerning security and exposed AWS S3 Buckets

https://github.com/mxm0z/awesome-sec-s3#awesome-aws-s3---security-tools-and-intel

#aws

​​Darko Meszaros: "Infrastructure IS Code on AWS":

https://www.youtube.com/watch?v=b7h2G6YidKs&t=567

Видео с DevSecOps конференции, прошедшей 24 сентября 2020-го года.

#video

С сегодняшнего для при покупке Savings Plan можно указывать дату в будущем, что удобно чтобы не держать эту дату в голове, когда у вас заканчивается предыдущий Savings Plan - https://aws.amazon.com/about-aws/whats-new/2020/09/queuing-purchases-of-savings-plans/

​​Наконец-то вышло обновление AWS Extend Switch Roles для переключения между аккаунтами с исправлением для работы в преобразившейся недавно AWS консоли.

Обратите внимание, что теперь список аккаунтов для переключения располагается не как раньше в менюшке самой AWS консоли, а при нажатии на сам ключик расширения (см. картинку).

S5Cmd - S3 на стеройдах

Сегодня расскажу про проект S5Cmd - отличный open source инструмент (изначально написанный ребятами из Peak Games) для ускорения и кастомизации процессов между S3 и локальной файловой системой. Три ключевых момента:
- скорость - S5Cmd написан на Go, максимально использует возможности параллельной обработки и transfer acceleration; собственно perfomance тесты есть на странице проекта (и ниже напишу свои результаты)
- привычная работа по маске (wildcard support); без всех этих exclude и include, которыми оперирует aws-cli
- работа в пакетном режиме на основе текстового командного файла либо pipe конвеера, что открывает произвольные варианты интеграции с unix shell

Чтобы не быть голословным, приведу результаты локального теста. Исходные установки: есть бакет, в котором хранятся разбитые по датам данные нескольких проектов. То есть s3://bucket-name/YYYY/MM/DD/prj1..., prj2..., и т.д. Каждый проект состоит из нескольких файлов. Копирую себе данные за один день по одному проекту:
1. В aws-cli это выглядит так:

 s3 cp s3://bucket-name/2020/09/27/ ./ --exclude "*" --include "prj1*" --recursive

- минута и 43 секунды. Замечу, что несмотря на плоскую структуру внутри дня, без recursive не обойтись
2. В s5cmd это выглядит лаконичнее:

 cp 's3://bucket-name/2020/09/27/prj1*' ./

- 37 секунд - в три раза быстрее

Дополнительно попробовал batch-режим, собрав предварительно с помощью ls и awk файл, где каждая строка - это копирование одного объекта. Здесь получилось 54 секунды за счёт какой-то задержки на старте (видимо файл парсится во внутреннюю структуру для исключения конфликтов, например сочетания команд копирования и удаления). Однако это всё равно довольно хорошо, если использовать командный файл по назначению - как сценарий разнородных действий.

Рекомендую присмотреться, если у вас есть соответствующие задачи (например, работа с данными s3 на серверной стороне за рамками AWS-инфраструктуры). Авторы из Amazon инструмент также хвалят.