AI-чистка на AWS началась.

Вскоре останутся лишь Kiro и прочие Strands агенты.

#AI

Amazon QuickSight + AI = new Amazon Quick Suite 🎉

https://aws.amazon.com/blogs/aws/reimagine-the-way-you-work-with-ai-agents-in-amazon-quick-suite/

#AI #QuickSight #QuickSuite

Чем плохи деплои на прод по пятницам?

Тем, что биллинг алерт на бюджет, в результате добавленных фич, прилетает на выходных.

Valkey 8.2 + vector search:

https://aws.amazon.com/blogs/database/announcing-vector-search-for-amazon-elasticache/

#ElasticSearch #Valkey

Переадресация для ALB 🎉

https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-url-and-host-header-rewrite-with-aws-application-load-balancers/

Теперь можно делать переадресацию прямо на балансере, равно как и переписывать заголовки.

Это ж сколько поколений сараев с костылями и велосипедами можно списывать в утиль.

Ура, господа, тихое такое, но ура.

#ALB

Сiя кормчая грамота даруется мужу, испившему всякаго, и крѣпкому словомъ благимъ дѣло устрояти.

#пятничное

Если у кого-то ничего что-то где-то не работает в AWS или ведёт себя странно — не переживайте, всё нормально, идёт выкатка новых сервисов, ведь скоро re:Invent 2025.

https://health.aws.amazon.com/health/status

Если у вас сейчас что-то не работает (кроме AWS), то теперь вы знаете, что это (не) работает на AWS.

Что может быть хуже проблем с DNS?

Только проблемы с мониторингом!

Короче, мониторинг показал, что всё упало из-за мониторинга.

The root cause is an underlying internal subsystem responsible for monitoring the health of our network load balancers.

Юбилей.

https://health.aws.amazon.com/health/status?path=service-history

Старожилы такого не припомнят.

Ведь раньше и сервисов-то столько не было.

Краткое содержание сериала падения AWS 20 октября 2025-го года:

1️⃣ серия

В 9:11 CEST из-за проблем с DNS упала DynamoDB.

2️⃣ серия

За два часа её (DynamoDB) починили (в 11:24 CEST) и всё ушли на обед.

3️⃣ серия

Пока DynamoDB лежала, упали критически важные, зависящие от неё сервисы: EC2 Control Plane, Lambda, SQS, RDS, ECS, EKS, CloudTrail, etc.

4️⃣ серия

Автоскелинги перестали работать, новые виртуалки не стартуют, саппорт не работает.

5️⃣ серия

Но самое страшное, что упал не только CloudWatch мониторинг, но ещё внутренний мониторинг (чисто амазоновский) и уже никто не знает, что происходит.

6️⃣ серия

Все команды сервисов вместе с поддержкой судорожно чистят кэш, чтобы заработала давно ожившая DynamoDB.

7️⃣ серия

Каскадное падение сервисов продолжается. Интересно, сможет ли упасть всё.

8️⃣ серия

Проблему внутреннего мониторинга пофиксили и есть надежда на восстановление.

9️⃣ серия

Но это уже будет делать следующая команда завтра (в следующей серии).

После 12 часов лежания, AWS начал оживать — можете проверять свои нагрузки.

Краткое промежуточное итого — около 140 пострадавших сервисов. В пике лежало 110 сервисов одновременно (падения были волнами).

В результате это будет самое длительное падение с 2011-го года. А если учесть количество лежащих сервисов, то самое масштабное. (Хотя, если считать процент сервисов, то может и нет :) — ведь тогда их было совсем мало).

Вы хотите как было 20 октября 2025-го?

Нет?

Тогда срочно мигрируйте на AWS European Sovereign Cloud — полностью независимый от остального AWS, новый eusc регион!

#реклама #AWS_EU_Regions

📘 “Building an Application Development Framework” — must-read для DevOps и платформенных инженеров
Авторы: Роман Воронин (AWS Community Builder, Минск–Лиссабон) и Иван Подобед, архитектор масштабируемых инженерных систем.

Эта книга — не про код, а про мышление архитектора.
Она показывает, как превратить хаос пайплайнов и шаблонов в единый фреймворк разработки (ADF) — со стандартами, автоматизацией и архитектурой, которые ускоряют всю компанию.

Если вы строите внутренние DevOps/Developer Experience -платформы, — это практичный гид о том, как мыслить фреймворками, а не инструментами.
Помогает перейти от «автоматизирую процессы» к «создаю экосистему, которая масштабирует инженерные практики».

📖 Найти можно на Amazon (https://www.amazon.com/Building-Application-Development-Framework-engineering/dp/183620857X) или Packt (https://www.packtpub.com/en-us/product/building-an-application-development-framework-9781836208563).

It was not DNS. AWS падение 20 октября 2025 года.

1. С чего началось?

Внутренняя подсистема мониторинга NLB внезапно умирает от всплеска нагрузки во внутренней сети AWS.

The root cause is an underlying internal subsystem responsible for monitoring the health of our network load balancers.

2. It is always DNS.

Сбой мониторинга и перегрузка трафика вызвали проблемы в разрешении DNS, главным образом затронуты были внутренние AWS endpoints для DynamoDB (но не только).

DNS resolution issues for the regional DynamoDB service endpoints.

3. Падаем громко.
DynamoDB тянет за собой EC2 Control Plane, Lambda, SQS, CloudTrail, ECS, EKS и т.д. — потому что они зависят и по данным, и по метаданным.

This issue also affects other AWS Services in the US-EAST-1 Region.

4. Первый фикс.

DNS for DynamoDB чинят уже спустя два часа. Но каскадное падение многих (143+) сервисов запущено, т.к. проблемный DNS закэшировался во всех этих сервисах.

After resolving the DynamoDB DNS issue at 2:24 AM, services began recovering but we had a subsequent impairment in the internal subsystem of EC2 that is responsible for launching EC2 instances due to its dependency on DynamoDB.

If you are still experiencing an issue resolving the DynamoDB service endpoints in US-EAST-1, we recommend flushing your DNS caches.

5. Monitoring blind.

Долгое время никто не знает, что реально происходит - ни CloudWatch, ни внутренний мониторинг не работает.

Network Load Balancer health checks also became impaired, resulting in network connectivity issues in multiple services such as Lambda, DynamoDB, and CloudWatch.

6. Почему упал не только один регион N.Virginia us-east-1?

Ключевые сервисы - IAM, CloudFront, CloudFormation, Route53 и др. - исторически живут исключительно в us-east-1. Поэтому проблема с ними = проблемы у всех регионов.
Моё предположение, что это падение наконец-то станет окончательным поводом пересмотреть архитектуру 20-летней давности.

Global services or features that rely on US-EAST-1 endpoints such as IAM updates and DynamoDB Global tables may also be experiencing issues.

7. Как развивалось дальше?

Сервисы недоступны или throttle-ятся долгое время, т.к. проблемы, вызванные DynamoDB DNS и недоступность ключевых сервисов не часто тестировалось ранее, наверняка что-то с этим связанное вызвало серьёзные проблемы.

As part of the recovery effort, we temporarily throttled some operations such as EC2 instance launches, processing of SQS queues via Lambda Event Source Mappings, and asynchronous Lambda invocations.

8. Когда решили проблему и началась стабилизация?

Условно через 12 часов после начала. После ещё около трёх часов окончательно поднимались все остальные сервисы и в результате инцидент продлился около 15 часов.

By 3:01 PM, all AWS services returned to normal operations. Some services such as AWS Config, Redshift, and Connect continue to have a backlog of messages.

Итого.

Жду появления в бэклоге AWS своего IAM для каждого региона.

И замените, наконец, народу во внутренней сети их Cisco 2800 на что-нибудь поновее.