⁠Import existing AWS resources into new or existing CloudFormation Stacks

Этот час настал! Можно будет импортировать ресурсы в существующие стэки!

Release v1.25.32 (2019-11-11)
===
### Service Client Updates
* `service/ce`: Updates service API and documentation
* `service/cloudformation`: Updates service API, documentation, and waiters
* The Resource Import feature enables customers to import existing AWS resources into new or existing CloudFormation Stacks.

Ссылка на коммит в гитхабе aws-sdk-go - это значит скоро появится анонс и документация, как делать такой импорт.

#CloudFormation #Yes #Yes #Yes

Некоторые подробности к вчерашней новости о импорте существующих ресурсов в стэк

Проблема возникла с самим возникновением CloudFormation, т.е. ей уже 8 лет. Есть уже существующие ("накликанные" в консоли) ресурсы. Чтобы их перевести на CloudFormation - требуется создать шаблон, удалить старые и поднять новые. Это бывает очень болезненная ситуация (пересоздание ресурсов).

Теперь же можно будет "подхватить" имеющиеся ресурсы в шаблон (новый или имеющийся) и далее рулить ими через шаблон - соблюдая все бестпрактиксы и в рамках единого CI/CD процесса.

Особенно болезненно и проблематично было с базами данных - их пересоздание от неприятно и проблематично до невозможно. А теперь её также можно будет завернуть в стэк баз данных и далее накатывать различные изменения - менять группы, настраивать бэкапы, получать эндпоинты и прочее - через него (через CloudFromation шаблон).

Другой случай - имеющийся Drift можно будет не только "откручивать" (сбрасывать), но и добавлять в шаблон, если это "правильный" дрифт! Т.е. допилил что-то напильником на проде, после запустил дрифт-детект и подкинул разницу в шаблон - далее новая конструкция обслуживается также через шаблон.

#CloudFormation

⁠У кого вчера (2019.11.12) что-то колбасило - это было не только у вас.

Днём кто-то уронил одну из подзон в Германии (eu-central-1), а вечером настала очередь us-east-1 (на картинке - downdetector), где шатало IAM, что на выходе могло давать проблемы с чем угодно - от доступа к биллингу и неполучению каких-то метрик до неработоспособности ваших лямбд и далее по списку.

#происшествия

Bringing Existing Resources Into CloudFormation Management

Теперь официально:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/resource-import.html

Цеплять можно будет не все ресурсы (раскатали губу), а лишь определённые. Полный идейно правильных ресурсов список здесь:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/resource-import-supported-resources.html

В списке есть RDS, о котором я только недавно писал, так что на этом можно выдохнуть и ждать дальше тем, кому не так повезло.

#CloudFormation

⁠ElastiCache + T3

Во все регионы завезли T3 для простеньких Redis-ов. Однако поддерживаются лишь micro, small и medium типы:

https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/CacheNodes.SupportedTypes.html

#ElastiCache

Simpler Email Service

Продолжая следить за обновлениями документации, можно узнать, что ещё будет анонсировано. Например, это SES version 2 (в заголовке шутка по этому поводу):

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sesv2.html

В частности, в новой версии для валидации доменов не используются TXT-записи - всё реализуется через DKIM. Кроме того, появилась возможность работать со статистикой доставленных писем (deliverability функции).

#SES

Новости кратко

• Кто использует DLM (Data Lifecycle Manager) теперь может тэгировать свои политики.

• Кто использует GitHub Actions - будет рад возможности работать с ECS/ECR.

• Кто активно борется с кликающими в консоли девелоперами - будет рад, что SSM Manager в очередной раз прокачался и теперь вы сможете правильно закликать их обратно.

• Кто использует CodePipeline - теперь сможет использовать динамические переменные.

Ну и для тех, у кого сегодня на дворе пятница и питон - отличный повод почитать на досуге отличный код:

https://github.com/AceLewis/my_first_calculator.py/blob/master/my_first_calculator.py

#пятничное

Поиск в aws-cli

Вы же тоже не знали, что в #aws_cli есть свой поиск?

https://docs.aws.amazon.com/cli/latest/search.html?q=tags

#TIL

Уважаемые минчане и гости столицы Беларуси!

Через месяц, в декабре этого года, в Минске пройдёт первый AWS Meetup. Вашему вниманию будут представлены цирковые лошади и танцующий слон (зачёркнуто) просто слон (зачёркнуто) доклады от представителей AWS и минских коллег, в том числе вашего покорного слуги.

Количество билетов ограничено, первые сто обратившихся - совершенно бесплатно, а первые двадцать пришедших получат халявные стикеры!

Получить всё можно по адресу @aws_minsk - подписывайтесь! Там же можно записаться в докладчики. Каждому, сделавшему доклад — значок, два стикера и селфи в подарок!

Место и дата будут объявлены позже, следите за обновлениями, обязательно подписывайтесь и расскажите другим (всё-таки очень красивые стикеры).

#meetup

⁠Let's Encrypt штормит

Если у вас проблемы с получением сертификата и вы думаете, что это cert-manager виноват, то может он и виноват, но сейчас это Let's Encrypt:

https://letsencrypt.status.io

#status

⁠Откуда вы читаете здесь обычно?

ap-east-1 - Гонг Конг
ap-south-1 - Мумбай
ap-northeast-1 - Токио
ap-northeast-2 - Сеул
ap-northeast-3 - Осака
ap-southeast-1 - Сингапур
ap-southeast-2 - Сидней
ca-central-1 - Канада
cn-north-1 - Пекин
cn-northwest-1 - Китай
eu-central-1 - Германия
eu-west-1 - Ирландия
eu-west-2 - Лондон
eu-west-3 - Париж
eu-north-1 - Швеция
me-south-1 - Бахрейн
sa-east-1 - Бразилия
us-east-1 - Вашингтон
us-east-2 - Огайо
us-west-1 - Сан-Франциско
us-west-2 - Орегон
eu-south-1 - Италия (откроется в 2020-м году)
af-south-1 - Южная Африка (откроется в 2020-м году)
eu-west-4 - Испания (откроется в 2022-м году)
eu-east-3 - Киев (откроется в каком-то году)
eu-east-4 - Москва (откроется в каком-то году)
eu-east-5 - Казань (откроется в каком-то году)
eu-east-6 - Минск (откроется, может быть, пожалуйста)
eu-north-3 - Питер (откроется в каком-то году)
ma-north-1 - Нур-Султан (откроется в каком-то году)
ma-north-2 - Новосибирск (откроется в каком-то году)

#опрос

Если точно вашего нет — жмите ближайший регион (существующий или будущий).

⁠CloudFormation против всех

Итак, к новостям. К отличным новостям (привыкайте!) - как вам такая ссылочка:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/registry.html

Интересно, да?

Тут анонс:

https://aws.amazon.com/about-aws/whats-new/2019/11/now-extend-aws-cloudformation-to-model-provision-and-manage-third-party-resources/

Тут блог:

https://aws.amazon.com/blogs/aws/cloudformation-update-cli-third-party-resource-support-registry/

Тут cfn (CloudFormation Command Line Interface):

https://docs.aws.amazon.com/cloudformation-cli/latest/userguide/what-is-cloudformation-cli.html

Тут остальное:

https://github.com/aws-cloudformation

Подробности обязательно будут, стэй тьюнд.

#CloudFormation

⁠EKS + Managed Node Groups

EKS получил важное обновление - можно нативно (через апи/консоль/aws-cli, а не запуская вручную специально обученные шаблоны) работать с Worker Node Groups:

https://aws.amazon.com/blogs/containers/eks-managed-node-groups/

Доступно лишь для EKS версии 1.14 (и новее, когда будут) - нужно будет обновиться предварительно.

https://docs.aws.amazon.com/eks/latest/userguide/managed-node-groups.html

#EKS

Про DevOps Engineer Pro

Должен сообщить хорошую новость - я был не прав. Критикуя ранее сертификат DevOps Engineer - Professional, ориентировался на (достаточно свежие) отзывы типа «OpsWorks: Very very…… Important for the exam» или «Elastic Beanstalk - I know the feeling! But this is also a must.»

Однако вчера коллега сдался на DevOps Engineer - Professional (мои поздравления!) и рассказал, что OpsWorks было мало, а Code* сервисов много. Это очень хорошо и серьёзно меняет расклад.

Потому стоит учитывать — ситуация с темами сертификации не стоит на месте и этот прогресс не может не радовать.

#AWS_Certification

Уважаемые читатели!

Если в потоке новостей вы пропустили скаковараённый опрос - просьба нажать нужную клавишу, кто ещё нет.

На текущий момент глобальный расклад такой:

Россия - 53
Украина - 51
Беларусь - 28
Европа - 22
США - 11
Канада - 9
Азия - 4

Проголосовало около 40% от тех, кто просмотрел.

п.с. Если точно вашего местопребывания нет — жмите ближайший регион (существующий или будущий).

Удалил все репосты из @aws_update. Несмотря на опрос, лента уж слишком получается загажена, а по другому опросу более трети здесь новички в AWS. Кому нужно знать новую версию питона лямбды (мне нужно) - подписывайтесь на @aws_update (я подписан 😊 ) и читайте отдельно. А здесь будет @aws_notes.

Метадата v.2

Для защиты от врагов, чтобы они не смогли узнать ваш внешний айпишник, роль и прочие вещи из метадаты, теперь доступна её вторая версия - с токеном:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-metadata.html#configuring-instance-metadata-service

Пример использования метадаты второй версии:

curl -X PUT "https://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"

AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==

curl -H "X-aws-ec2-metadata-token: AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==" -v https://169.254.169.254/latest/meta-data/public-ipv4

*  Trying 169.254.169.254...
* TCP_NODELAY set
* Connected to 169.254.169.254 (169.254.169.254) port 80 (#0)
GET /latest/meta-data/public-ipv4 HTTP/1.1
Host: 169.254.169.254
User-Agent: curl/7.61.1
Accept: */*
X-aws-ec2-metadata-token: AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==

HTTP/1.1 200 OK
X-Aws-Ec2-Metadata-Token-Ttl-Seconds: 21504
Content-Type: text/plain
Accept-Ranges: none
Last-Modified: Wed, 20 Nov 2019 09:05:09 GMT
Content-Length: 13
Date: Wed, 20 Nov 2019 09:11:06 GMT
Server: EC2ws
Connection: close
* Closing connection 0

63.34.171.2

Что можно с ходу сказать по этому поводу. Давно стоило сделать и вот наконец. Однако процесс миграции (на "защищённую" вторую версию) будет долгим и болезенным и займёт годы (без преувеличения).

Если у вас уже сегодня что-то отломалось с переключением ролей под капотом в каких-то утилитах - мои соболезнования, издержки прогресса, ждите обновления или пилите костыли.

Update: а вот пожалуйста.

#EC2 #metadata