Создать CloudFormation ресурс со случайным паролем, чтобы, например, после его передать для базы данных:

MySecretA:
 Type: 'AWS::SecretsManager::Secret'
 Properties:
  Name: MySecretForAppA
  Description: "This secret has a dynamically generated secret password."
  GenerateSecretString:
   SecretStringTemplate: '{"username": "test-user"}'
   GenerateStringKey: "password"
   PasswordLength: 30
   ExcludeCharacters: '"@/\'

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-secretsmanager-secret.html

#CloudFormation

Тестируй правильно.

Первоисточник.

Утилита для удаления CloudFormation стэков по TTL (expiration time) или пул реквесту:

https://github.com/lendi-au/StackJanitor

#CloudFormation

​​Managed Workflows for Apache Airflow

Пока продолжаются прения между командой Elastic (авторами ELK стека) и Amazon на тему того кто из них более open-source-friendly, расскажу про другую недавнюю интеграцию в стек AWS - управляемый вариант Airflow.

Apache Airflow - это платформа для планирования, управления и мониторинга заданий, написанная на python. Это собственно тоже промышленный стандарт в мире ETL, для организации взаимодействия между процессами (формализованными в виде DAG - однонаправленных ациклических графов). Благодаря набору плагинов в рамках Airflow можно запускать достаточно разнородные пайплайны - от простых bash-команд, до модулей со сложной логикой - поверх тоже довольно разнородной инфраструктуры. У этого продукта не так много конкурентов (вот например Luigi разработки Spotify) и поэтому интеграция в AWS - это был только вопрос времени. Тем более что в GCP, например, Cloud Composer изначально реализован как управляемый Airflow.

Есть конечно разработчики, которые и этот новый сервис (официальное название AWS MWAA) восприняли настороженно, в духе "опять Amazon зарабатывает на open-source ". Ну во-первых, я уже упомянул GCP, а во-вторых, кажется, что получился на самом деле очень удобный сервис, который ребята из AWS адаптировали к остальному стеку. В сборке настроено много плагинов к остальным элементам AWS (тут и Athena, и DynamoDB, и Redshift, EKS, ECS, Firehose, SQS и прочие), код DAG (и зависимости) хранится в s3, настроен auto-scale воркеров для запуска заданий с тремя вариантами окружения: pw1.small (1 vCPU), pw1.medium (2 vCPU) или pw1.large (4 vCPU). Мониторинг настраивается в Cloudwatch.

Другими словами, получилась сборка которая помогает построить ETL процессы на полностью управляемых компонентах и сервисах. Конечно, если выбрать такое архитектурное решение для проекта - перейти потом в другую инфраструктуру будет сложно. Но с другой стороны, если есть периодический процесс, в котором источником служат, например, файлы в s3 (пусть от стороннего провайдера), задействована их трансформация с помощью python и sql и выгрузка в data-lake или наоборот в готовую витрину для визуализации, то сервис конкурентоспособен. Стоимость складывается из использованных часов работы окружения (scheduler/worker/web server), количества и мощности воркеров. То есть выбор - поднимать Airflow самостоятельно или использовать в виде сервиса - упирается в баланс между набором своих вычислительных мощностей и арендуемых.

Сервис пока доступен не во всех регионах и дата-центрах, но в наиболее крупных (N. Virginia, Frankfurt, Ireland, Sydney, Ohio) попробовать можно.

​​Установка Sentry на AWS сервисах из CloudFormation шаблона:

https://github.com/Rungutan/sentry-performance-monitoring

Для различных вариантов установки приведены рассчёты по стоимости:

Element    Cost per month in USD
RDS       65
Redis      55
Kafka      110
ClickHouse 140
VPC       30
1ELB+2ALB 90
ECS       200

#monitoring #CloudFormation

#машины_aws

Мой “контент-план” по блогам на Январь 2021 официально выполнен!

Вниманию моих читателей - финальная (на данный момент) глава по DynamoDB.
Моделирование данных, лучшие практики, Single-Table Design… И разумеется, полезные ссылки для страждущих!

​​Нажав в AWS Console для VPC кнопку See all regions можно быстро увидеть количество различных ресурсов по всем регионам в аккаунте. Что удобно для поиска, где находятся забытые VPC с NAT GW, незаметно пожирающих деньги, Elastic IP или просто быстро найти используемые регионы с поднятыми виртуалками.

p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.

#AWS_Console #VPC

Во-первых, это красиво:

sudo yum update sudo

Во-вторых, безопасность должна быть безопасной:

https://aws.amazon.com/security/security-bulletins/AWS-2021-001/

Свежая уязвимость для всех линуксов:

Sudo before 1.9.5p2 has a Heap-based Buffer Overflow, allowing privilege escalation to root via "sudoedit -s" and a command-line argument that ends with a single backslash character.

https://cve.mitre.org/cgi-bin/cvename.cgi?name=2021-3156

#security

AWS: Re:Invent recap на русском языке (RU):

https://youtu.be/qTJ2VCV3_bU?t=242

#reinvent #video

AWS: Re: Invent recap українською мовою (UA):

https://pages.awscloud.com/EMEA-field-OE-EEMRecaps-2021-reg-event.html

Починається прямо зараз – о 17:00 (GMT+2), приєднуйтесь!

Server Side Rendering для React на Лямбде:

https://aws.amazon.com/blogs/compute/building-server-side-rendering-for-react-in-aws-lambda/

This post is courtesy of Roman Boiko, Solutions Architect.

#Lambda #React

Персонажи в команде, часть 2

Володя

Володя самый старший в команде, поэтому связь с ним через почту. Слэк, Телеграм – нет, не слышали, зачем? Ведь у Володи совершеннолетний Скайп!

К Володе обращаются, когда всё. Прилетает срочный проект, никто не знает, что делать, лишь по логам понятно, что внутри шевелится что-то старое на Джаве и уже не работает, а очень надо. В общем, это к Володе. Володя пропадает на пару месяцев и возвращается с ожившим проектом и набором патчей для использованного в нём фреймворка. Однако патчи никому не нужны, т.к. фреймворк на гитхабе заброшен уже много лет как и Володя про это не знает, потому что какой ещё git, когда у него свой насиженный svn.

Володя не следит за трендами и не знает новых веяний. Но он настолько знает старые, что может сделать что угодно, главное правильно поставить задачу и не мешать. Как-то прилетел проект, где нужно было что-то переделать под докер, про который Володя тогда узнал впервые. Он лишь интеллигентно спросил, чем же не устраивает lxd. Удовлетворившись невразумительным ответом, уже через пару месяцев весь проект у него весело крутился на Docker Swarm.

Потом был какой-то древний монолит биллинга одного банка, который стал загибаться с наплывом клиентов. Одним из требований к решению был перевод на куберы. Володя разобрался с куберами, разделил монолит на части через кафку и переписав в монолите лишь драйвер очереди, вернул ошарашенным клиентам через полгода.

В середине нулевых Володе делал проект по защите от копирования какой-то суперсекретной информации для военных под Windows. В качестве подспорья для реализации ему достались утекшие в сеть исходники Windows 2000. Он полгода их анализировал и узнал, что подсистему кэширования для Windows написал какой-то гений с итальянской фамилией ещё в лохматом 1989-м году. После 1993-го упоминания итальянца в коде пропадают и по тому, что позже его код никто не трогает и не меняет, становится ясно, что никто не понимает, как он работает, и потому с тех пор он просто перекладывался из версии в версию. Володя же разобрался и на его основе сделал свою защиту, которая обходит любые системы, не видится никакими антивирусами и которая за последние пятнадцать лет была им подправлена лишь пару раз – с переходом на 64 бит и появлением Windows 8. Самая последняя Windows 10 беззащитна против его оружия на базе кода тридцатилетней давности.

Некоторые новички не верят, что Володя существует, потому раз в год он подключается в скайпе на видеоконференцию. Однако последние пару лет не получалось, потому что вечером, когда проходят такие сеансы, его ADSL модем не тянет видео и связь рвётся.

Никто не знает, когда Володя появился в компании. Главный рассказывал, что прежний CTO завещал ему Володю со словами "Береги Володю. Будет Володя - будет проект". Поэтому когда однажды возникли проблемы с перечислением денег, он лично бегал в банк и переводил ему из своих через Western Union в Винницу.

Да, Володя тоже из Винницы. Это благодаря ему Саша вернулся обратно. Правда на другой проект, т.к. прежний закрыли. После чего Саша, как и раньше, продолжает охранять используемый стэк технологий и имеющуюся архитектуру приложения. И всей душой ненавидеть новую звезду в команде, девушку разработчика Валерию, как и до этого её тёзку противоположного пола.

Володя не пользуется смайликами, всегда спокоен, называет всех исключительно на вы, а в свободное время отдыхает, продолжая совершенствовать собственную версию любимой FoxBase.

(часть 1)

#персонажи

Serverless Stack Toolkit - расширение для AWS CDK:

https://github.com/serverless-stack/serverless-stack

#CDK #serverless

​​Пошаговое руководство для создания простого микросервисного проекта на Lambda + APIGW + DynamoDB:

https://dev.to/tiamatt/aws-project-building-a-serverless-microservice-with-lambda-1pa3

В качестве деплоя используется AWS SAM.

#Lambda #serverless

Митап AWS User Group Kazakhstan
📆 10 февраля 18:00-20:00 Нур-Султан / 15:00-17:00 Москва
📍https://www.twitch.tv/awsporusski
👉 доклады на разные темы, вопросы-ответы и возможность пообщаться
📄 программа
1. Талгат Нурлыбаев, МУИТ - Академическая программа Amazon AWS в МУИТ и Казахстане.
2. Анатолий Макеев, RedPad Games - Личный опыт практического использование AWS в GameDev. Почему был выбран AWS. Описание принципов использования AWS в разработке игр, основная структура клиент сервера. А также рекомендации начинающим разработчикам.
3. Карен Товмасян, EPAM - Going Full Compliant (Абсолютное соответствие требованиям). Как с помощью AWS Config и AWS SSM обеспечить полный контроль над состоянием своей инфраструктурой и соответствие требованиям.
4. Василий Пантюхин, AWS - Конкурентный доступ к файлам, советы по использованию Amazon EFS. Поговорим о том, как и где можно использовать Amazon Elastic File System. Обсудим best practices и способы сэкономить.

Переименование CloudFormation стэка:

https://github.com/iann0036/cfn-stack-rename

Просто так CloudFormation стэк переименовать нельзя, потому утилита делает следующее:

1. Разобирает стэк на запчасти (ресурсы), запомнив их айдишники.
2. Удаляет стэк с флажком "оставить все ресурсы".
3. Собирает из ранее запомненных (импортирует) стэк с новым именем.

Назначение утилиты больше экспериментальное, стоит учесть.

#CloudFormation