GitLab на IPO - поздравим коллег по девопсу! 😁

https://www.cnbc.com/2021/10/14/gitlab-jumps-in-nasdaq-debut-after-pricing-ipo-above-expected-range.html

💰11 миллиардов на данный момент - это не шутки!

Security at the Edge — Core Principles:

https://d1.awsstatic.com/whitepapers/Security/security-at-the-edge.pdf

It’s critical to ensure that both the security of their environments and the security present in traditional cloud networks are extended to workloads at the edge. The whitepaper provides security executives the foundations for implementing a defense in depth strategy for security at the edge.

#security #best_practices

Итоги недели на AWS (10/10-10/16 2021)

▪️ NLB наконец-то поддерживает TLS 1.3! Ждём для ALB.

▪️ Auto Scaling группы можно фильтровать по тэгам.

▪️ Glue Crawlers можно повесить на S3 эвенты и отрабатывать изменения, а не постоянно сканить всё подряд.

▪️ VPC Flow Logs поддерживают Apache Parquet формат и Hive-совместимые префиксы, а также можно раскладывать логи в S3 по часам.

▪️ cdk8s с поддержкой Go и теперь Generally Available.

▪️ Fraud Detector подешевел в два раза и теперь распознаёт вражеские онлайн-транзакции.

Обновления Solutions:

▫️ AWS Instance Scheduler v2.0 — наконец-то с поддержкой Organizations (не нужен список аккаунтов), а для старт-стопа инстансов теперь вместо рабоче-крестьянский Лямбды используется кошерный SSM Automation runbook.

▫️ Automated Account Configuration v.1.0.0 — полезная заготовка с многообещающим названием "автонастройка аккаунтов", но из коробки лишь настройка бэкапов (Backup) и патчей (SSM), что часто и так делается другими способами. Возможно попробую и сделаю отдельный пост (или будет официальный с подробностями нового решения).

▫️ Distributed Load Testing on AWS v2.0.0 — ничего нового, просто докер образ Taurus переехал в недавно появившийся публичный ECR.

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 10/10-10/16 2021.

#AWS_week

​​The easy solution is rarely simple.
The simple solution is rarely easy.

Суровая реальность.

Первоисточник.

#design

​​AWS re:Invent 2021:

https://reinvent.awsevents.com

29 ноября начнётся юбилейный 10-й re:Invent, который пройдёт как в обычном (оффлайн) режиме, так и в онлайн (только keynotes, leadership sessions и on demand breakout sessions).

Интересно, что на re:Invent можно попасть лишь тем, кто вакцинировался (полностью - две дозы) и при этом маски будут обязательны.😷

В любом случае, зарегистрироваться можно (и нужно😀).

https://reinvent.awsevents.com/register/

#reinvent

Напоминаю, что завтра с самого утра (10:00 GMT+3) начнётся online AWS Tech Conference - присоединяйтесь!

Новая AWS сертификация на русском языке:

https://aws.amazon.com/ru/certification/coming-soon/

UPDATE: сертификация не на русском. Просто новость о новой сертификации на русском. 😐

#AWS_Certification

​​wss://serverless

Полезные размышления на тему — как можно реализовать websocket-архитектуру на serverless схеме.

https://dev.to/aws-builders/serverless-websockets-on-aws-3nm9

🔹 Использовать одну Лямбду для поддержания коннекта, а другую для обработки сообщений
🔹 Использовать GraphQL подписки сервиса AWS AppSync
🔹 Использовать возможности AWS IoT Core MQTT

#serverless

​​AWS Tech Conference в прямом эфире:

https://www.youtube.com/watch?v=L2ZWho3c_tg

Добавляем WAF к EKS приложениям:

https://aws.amazon.com/blogs/containers/protecting-your-amazon-eks-web-apps-with-aws-waf/

Для WAFv2 нужно добавить в аннотацию AWS Load Balancer Controller параметр wafv2-acl-arn:

annotations:
kubernetes.io/ingress.class: alb
alb.ingress.kubernetes.io/scheme: internet-facing
alb.ingress.kubernetes.io/target-type: ip
alb.ingress.kubernetes.io/wafv2-acl-arn: "arn:aws:wafv2:us-east-1:123456789012:regional/webacl/test/a1b2c3d4-5678-90ab-cdef"

#WAF #EKS

​​Секретные регионы AWS

Слово "секретные" подразумевает не то, что они скрываются, а то, что это особо защищённые сегменты AWS облака. В этом легко убедиться, т.к. секретные регионы имеют свой раздел на сайте AWS:

https://aws.amazon.com/federal/us-intelligence-community/

Это физически другая инфраструктура с особым уровнем доступа - специальные каналы доступа к вычислительным мощностям AWS без доступа в глобальный интернет. Министерству Обороны США и спецслужбам тоже нужны мощности для своей работы, потому они взаимодействуют с AWS для выполнения всех своих специфических требований, оставляя при этом выгоды облака.

В 2014-м году появился AWS Top Secret регион, который используют разведывательные службы с уровенем Top Secret, а в 2017-м AWS Secret Region с уровнем Secret.

У секретных регионов максимальные требования по compliance CNSSI No.1253, которые дополняет требования NIST SP 800-53 (специальная версия от NIST 800-53, которая есть на AWS и на хабре).

У секретных регионов ограниченный набор сервисов (ещё меньше, чем для GovCloud), т.к. они должны пройти самую суровую сертификацию DoD SRG IL6. На текущий момент это "целых" 36 сервисов AWS:

https://aws.amazon.com/blogs/security/10-additional-aws-services-authorized-dod-impact-level-6-for-aws-secret-region/

Пишите в комментариях, если интересна эта сложноприменимая тема жёстких compliance и разделения сетей по уровням безопасности.

#security #compliance #AWS_Regions

Записи EPAM AWS RU Community Meetup от 21.10.21:

🔹 Николай Пойда @mykola7799 объявил победителей EPAM AWS WordPress Challenge.

🔹 Александр Бармин сделал доклад по теме Writing serverless app with AWS SAM.

🔹 Роман Бойко (Serverless Specialist Solution Architect, AWS) подробно рассказал про внутренности Лямбды — AWS Lambda deep dive.

#video #serverless #Lambda

​​Визуальный вариант SSE-S3 шифрования для Amazon S3.

#security #S3 #пятничное

Популярность API облачных провайдеров Azure, GCP и AWS в 1500 последних запросов на Stack Overflow за 24 часа (обновляется):

https://exploratory.io/dashboard/PQd2wHB2BZ/Multi-Cloud-EMA-Dashboard-sjX9acK2zH

Топ 10 сервисов (вопросов по API) для AWS:
1️⃣ S3
2️⃣ Lambda
3️⃣ EC2
4️⃣ CloudFormation
5️⃣ IAM
6️⃣ RDS
7️⃣ API Gateway
8️⃣ DynamoDB
9️⃣ Glue
🔟 CDK

#Azure #GCP #AWS

Итоги недели на AWS (10/17-10/23 2021)

▪️ RDS Proxy поддерживает MySQL 8.0. И при этом PostgreSQL лишь 11. То есть вот уже можно использовать RDS PostgreSQL 14 RC 1, а для RDS Proxy нет даже PostgreSQL 12! Вы серьёзно, да?!?😐

▪️ Amazon Keyspaces (Cassandra) поддерживает TTL (настраиваемый Time to Live).

▪️ AWS Data Exchange for Amazon Redshift.

▪️ KMS шифрование артефактов для CloudWatch Synthetics.

▪️ AWS Panorama Appliance теперь Generally Available. Крутая штука — коробочка, которая подключается к видеокамерам и может работать с видео локально — без отсылки данных в облако. Можно программировать на поиск нужного в видеопотоках с помощью собственных ML моделей.
Такой себе мини-Outposts для ML обработки видео. А потому и по цене нового макбука в максимальном конфиге.

▪️ Security Hub теперь умеет собирать свои результаты кросс-регионально. Что критически важно для мульти региональных проектов. Можно глянуть демо-видео, как работает кросс-регион Security Hub.

▪️ FIS (Fault Injection Simulator) теперь умеет ломать spot-виртуалки.

▪️ AWS Load Balancer Controller обновился до версии 2.3 и теперь снова придётся менять IAM права в ваших шаблонах и прочих Терраформах.😑 Добавлена поддержка IPv6, для мульти ALB теперь создаётся одна общая security group, чарт обновлён до Helm v3 - в общем, попробую обновиться и отпишусь по результатам подробней.

▪️ Amazon Chime теперь тоже умеет размывать задний фон.

Обновления Solutions:

▫️ Web Client for AWS Transfer Family 1.0.0 — создаёт сайт для доступа в окружение через SFTP.

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 10/17-23 2021.

#AWS_week

DevOps и business playbook (или company playbook)

Тема DevOps выходит за рамки одного человека и связана с работой команд/проектов и в целом организации процессов в компании. В результате при внедрении DevOps практик/культуры всегда возникают проблемы — а что имеется в виду? А почему нужно это перестать делать, то выбросить, а такое делать именно так — кто сказал, что так правильно? А какие есть варианты, как это может быть реализовано с учётом нашей специфики — в нашей компании, нашего размера и стиля работы?

И действительно, а где посмотреть на примеры организиции процессов в IT компаниях — то, что выше и более общее, чем написание скриптов? Где взять аргументы в споре, почему неправильно не только деплоить на прод в пятницу вечером, но и вообще, как организовать эффективное взаимодействие при возникшем удалённом режиме работы?

Ответ есть — playbooks. Не которые ansible playbooks (из-за которых их так сложно нагуглить), а business (company) playbooks — открытые публичные описания, как устроены процессы внутри каких-то компаний.

Например, ваша компания перешла на удалённый режим работы и есть проблемы с выстраиванием взаимодействия (а они есть вне всяких сомнений) — обязательно почитайте GitLab playbook:

▫️ https://about.gitlab.com/company/culture/all-remote/
▫️ https://about.gitlab.com/handbook/

В свете успешно вышедшей на IPO организации, работающей на 100% удалённо не один год, у вас будут серьёзные аргументы в предложениях улучшить практики взаимодействия, в том числе пересекающиеся с DevOps.

Другой исключительно детальный и объёмный playbook от Microsoft:

▪️ https://microsoft.github.io/code-with-engineering-playbook/

Отличное чтиво, однозначно рекомендуется ознакомиться, т.к. это и есть набор best practices, что суть DevOps.

В дополнение некоторый список от других известных и не очень компаний:

🔹 https://www.atlassian.com/team-playbook
🔹 https://heap.io/resources
🔹 https://www.timble.net/playbook/
🔹 https://thoughtbot.com/playbook
🔹 https://www.kohactive.com/playbook/
🔹 https://www.fullstacklabs.co/playbook

А у вашей компании есть свой playbook? Используете ли подобные практики для улучшения DevOps в своей компании?

#devops #design

​​Как Amazon мониторит свои ветряки и солнечные электростанции:

https://aws.amazon.com/blogs/industries/amazon-achieves-near-real-time-renewable-energy-plant-monitoring-to-optimize-performance-using-aws/

Интересно отметить, что переход на возобновляемые источники идёт опережающими темпами, а для мониторинга есть даже специальная команда по "зелёной оптимизиации" - REO (renewable energy optimization) team.

В частности, REO-команда разработала свою референсную архитектуру на базе AWS IoT (на картинке). Данные складываются в AWS IoT SiteWise и Amazon Timestream, а для визуализации используются дашборды Grafana (AMG).

Интересно узнать, у кого есть IoT проекты сходного назначения - как/где/чем вы храните свои метрики? Приведенное решение от Амазон выглядит недешёвым, хоть и логичным.

Поделитесь своими подходами к архитектуре такого типа решений, пожалуйста. Т.к. вот для меня тут не видно multitenancy и как такое можно смасштабировать (особенно в сторону упрощения-удешевления).

#IoT #design

Проверка CloudFormation кода на уязвимости:

https://github.com/aquasecurity/cfsec

Ещё один статический анализатор CloudFormation шаблонов, поддерживаемые форматы — YAML, JSON.

#CloudFormation #security #devsecops