Databricks на AWS сильно продвинулся, но таки не дотянул до полноценного сервиса:

https://aws.amazon.com/about-aws/whats-new/2024/12/streamlined-deployment-experience-databricks-aws/

Кто не в курсе, Databricks — это очень популярная платформа для работы с данными, которая на фоне хайпа вокруг AI взлетела в востребованности до небес. Аналогичные сервисы давно есть на Azure и GCP.

🆕 Invoice Configuration — возможность выставлять счета отдельно по аккаунтам:

https://aws.amazon.com/blogs/aws-cloud-financial-management/configuring-your-aws-invoices-using-invoice-configuration/

Крайне востребованная фича, когда по любой причине нет возможности поднимать окружение у заказчика, а он хочет просто платить за AWS аккаунт, что крутится в нашей AWS Organization. Теперь это можно будет делать без костылей.

#cost_optimization

🆕 Amazon EKS Hybrid Nodes

https://aws.amazon.com/blogs/aws/use-your-on-premises-infrastructure-in-amazon-eks-clusters-with-amazon-eks-hybrid-nodes/

Теперь можно поднимать ноды EKS у себя в серверной, по-прежнему управляя кластером в консоли AWS.

#EKS

🆕 MemoryDB + Multi-Region

https://aws.amazon.com/blogs/aws/amazon-memorydb-multi-region-is-now-generally-available/

🔹 active-active replication
🔸 microsecond read latency
🔹 single-digit millisecond write latency

#MemoryDB

☸️ EKS автопилот — EKS Auto Mode со встроенным Karpener-ом, dual stack сетью, поддержкой block storage, GPU и автообновлением нод по безопасности:

https://aws.amazon.com/blogs/aws/streamline-kubernetes-cluster-management-with-new-amazon-eks-auto-mode/

К сожалению, это не ECS обновлять EKS кластер на новую версию по-прежнему нужно будет самостоятельно.

#EKS

🆕 AWS Transfer Family web apps

https://aws.amazon.com/blogs/aws/announcing-aws-transfer-family-web-apps-for-fully-managed-amazon-s3-file-transfers/

Если вы не смогли поставить себе какой-нибудь Cyberduck для работы с данными в S3, то теперь можно настроить UI доступ к S3 с помощью AWS Transfer Family web apps. За каких-то 360$ в месяц за приложение.

#Transfer_Family #S3

Storage Browser for Amazon S3

https://www.youtube.com/watch?v=UBpX8hCpLAY

AWS Blog:

https://aws.amazon.com/blogs/aws/connect-users-to-data-through-your-apps-with-storage-browser-for-amazon-s3/

#S3

Количество метрик, обрабатываемых CloudWatch за последние пять лет выросло в 20 раз.

С одной стороны, вот, как сложно обрабатывать такую увеличивающуюся нагрузку на CloudWatch.

А с другой, на биллинг. 😃

#reInvent

С новыми фичами типа CloudWatch Logs Insights Observability нагрузка на биллинг CloudWatch увеличится ещё больше:

https://aws.amazon.com/blogs/aws/container-insights-with-enhanced-observability-now-available-in-amazon-ecs/

#CloudWatch #ECS #reinvent

CloudWatch + OpenSearch = возможность запрашивать логи из OpenSearch

https://aws.amazon.com/blogs/aws/new-amazon-cloudwatch-and-amazon-opensearch-service-launch-an-integrated-analytics-experience/

#CloudWatch #OpenSearch #reInvent

Интересное из истории AWS и re:Invent от Andy Jassy:

https://www.youtube.com/watch?v=moECYs9sH4g

#reInvent

First Keynote from re:Invent for confident English "listeners" :)
https://youtu.be/vx36tyJ47ps

🆕 S3 Tables = S3 buckets для аналитики

https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/

По сравнению с возможностью сделать на S3 buckets всё то же самое, S3 Tables обещает:

🔹 up to 3x faster query performance
🔸 up to 10x more transactions per second

И это весьма серьёзное отличие для прожорливых аналитических запросов.

А что с ценой? Отличия по самому хранению минимальные — где-то +5% по сравнению с S3 buckets. Если включить сжатие (S3 Tables compaction), то добавится ещё десяток-другой процентов, что вполне адекватно.

С ходу S3 Tables имеют интеграцию с Athena, Redshift, EMR, Glue Data Catalog и QuickSight.

Итого, нужно брать. С учётом важности работы с данными сейчас, S3 Tables теперь базовый элемент инфраструктуры.

Мои очередные сожаления (поздравления) всевозможным курсам — переделывать (и продавать).

#S3

🆕 Amazon Q напишет юнит-тесты, документацию (не только для нового, но и для легаси) и сделает code review.

#reInvent

— А давайте придумаем новое название для Aurora Serverless v2?
— А давайте!

🆕 Aurora DSQL = multi-region Aurora Serverless v2

https://aws.amazon.com/blogs/database/introducing-amazon-aurora-dsql/

#Aurora

🆕 AWS Data Transfer Terminal — будущая замена Snowball Edge

https://aws.amazon.com/blogs/aws/new-physical-aws-data-transfer-terminals-let-you-upload-to-the-cloud-faster/

https://www.youtube.com/watch?v=H2Z-Byu15qA

#DataTransferTerminal

Через три часа от этого поста начнётся первый стрим по новостям с re:Invent, где мы в том числе обсудим выступления Peter DeSantis и Matt Garman:

https://www.youtube.com/live/nn2la97zS9I

Это будет тёплый ламповый стрим, минимум задолбавшего AI, максимум хардкор hardware, которого на удивление было достаточно на re:Invent 2024.

CNBC: Apple заявила, что использует ИИ-чипы Amazon

– Apple использует ИИ-чипы Amazon для поиска и др.
– Их также используют для обучения Apple Intelligence
– ML-директор Apple выступил на конференции Amazon
– Это серьезная поддержка AWS со стороны компании
– Apple использует AWS для своих сервисов уже 10+ лет
– AWS используют для Siri, Apple Maps, Apple Music и др.
– Apple также использует ее чипы Inferentia и Graviton
– Она заявила, что чипы повысили эффективность на 40%
– Apple также может начать использовать чип Trainium2

@ftsec

Прочитал за вас большой анализ по Trainium2, новой вычислительной платформе от Amazon.

- Главная задача в разработке Trainium2 — повысить конкурентоспособность AWS на рынке предоставления услуг для GenAI.
- AWS делает кластер на 400000 чипов Trainium2 для Anthropic в рамках Проекта Rainier, что указывает на сильное партнерство. Мы часто обсуждали, есть ли связь между амазоном и Антропиком помимо инвестиций.
- Главные цифры — 650 TFLOP/s и 96GB памяти.
- NeuronLinkv3 — шина высокоскоростной внутренней и межсерверной связи, образует очень красивый гиперкуб, в котором 32 узла Trainium2 связаны друг с другом на скорости в 640 гигабит. И пока это чуть ли не самое интересное и свежее во всей конструкции платформы.
- Раздельные движки для работы с разными типами данных (Tensor, Vector, Scalar) тоже выгодно отличают Trainium от классических GPU.
- Trainium2 — это прямой конкурент Nvidia H100 и Google TPU.
- Энергобюджет для кластеров Trainium2 до 48 кВт на сервер Trn2-Ultra. В общем, за потреблением амазону приходится следить.
- AWS внедрила автоматизированные проверки работоспособности и диагностику для обеспечения надежности прямо в платформу. Очень умно и красиво, тут виден прямо подход.

Я вам очень рекомендую прочитать статью самим, прямо глубоко. На фоне недавнего рассказа Эппл о том, что они активно используют Trainium2 и вообще живут на этом куске Амазона, — популярность этого решения будет расти и быстро.

https://semianalysis.com/2024/12/03/amazons-ai-self-sufficiency-trainium2-architecture-networking/