AWS Notes
Storage Browser for S3 Шёл 2024-й год. Не прошло и 20 лет спустя появления Amazon S3, как уже можно прямо в браузере ходить по S3! https://github.com/aws-amplify/amplify-ui/issues/5731 Правда пока альфа-версия, но, глядишь, к юбилею успеют. Хотя, вроде…
Storage Browser for Amazon S3
https://www.youtube.com/watch?v=UBpX8hCpLAY
AWS Blog:
https://aws.amazon.com/blogs/aws/connect-users-to-data-through-your-apps-with-storage-browser-for-amazon-s3/
#S3
https://www.youtube.com/watch?v=UBpX8hCpLAY
AWS Blog:
https://aws.amazon.com/blogs/aws/connect-users-to-data-through-your-apps-with-storage-browser-for-amazon-s3/
#S3
YouTube
Getting started with Storage Browser for Amazon S3
Storage Browser for Amazon S3 is an open source component that you can add to your web applications to provide your end users with a simple interface for data stored in S3.
With Storage Browser for S3, you can provide authorized end users, such as customers…
With Storage Browser for S3, you can provide authorized end users, such as customers…
AWS Notes
Количество метрик, обрабатываемых CloudWatch за последние пять лет выросло в 20 раз. С одной стороны, вот, как сложно обрабатывать такую увеличивающуюся нагрузку на CloudWatch. А с другой, на биллинг. 😃 #reInvent
С новыми фичами типа CloudWatch Logs Insights Observability нагрузка на биллинг CloudWatch увеличится ещё больше:
https://aws.amazon.com/blogs/aws/container-insights-with-enhanced-observability-now-available-in-amazon-ecs/
#CloudWatch #ECS #reinvent
https://aws.amazon.com/blogs/aws/container-insights-with-enhanced-observability-now-available-in-amazon-ecs/
#CloudWatch #ECS #reinvent
😁10
CloudWatch + OpenSearch = возможность запрашивать логи из OpenSearch
https://aws.amazon.com/blogs/aws/new-amazon-cloudwatch-and-amazon-opensearch-service-launch-an-integrated-analytics-experience/
#CloudWatch #OpenSearch #reInvent
https://aws.amazon.com/blogs/aws/new-amazon-cloudwatch-and-amazon-opensearch-service-launch-an-integrated-analytics-experience/
#CloudWatch #OpenSearch #reInvent
👍1💩1
Интересное из истории AWS и re:Invent от Andy Jassy:
https://www.youtube.com/watch?v=moECYs9sH4g
#reInvent
https://www.youtube.com/watch?v=moECYs9sH4g
#reInvent
YouTube
AWS re:Invent 2024 - Andy Jassy Returns to re:Invent and its Origin Story | Amazon Web Services
It’s been three years since Andy Jassy was last at #AWSreInvent and he's excited to be back.
This week, he'll be doing a few videos recapping what he's excited about and what AWS is hearing from customers. The series…
This week, he'll be doing a few videos recapping what he's excited about and what AWS is hearing from customers. The series…
Forwarded from Rinat Uzbekov
First Keynote from re:Invent for confident English "listeners" :)
https://youtu.be/vx36tyJ47ps
https://youtu.be/vx36tyJ47ps
YouTube
AWS re:Invent 2024 - Monday Night Live with Peter DeSantis
In Monday Night Live 2024, Peter DeSantis, Senior Vice President of AWS Utility Computing, continues the Monday Night Live tradition of diving deep into the engineering that powers AWS. Joined by Dave Brown, VP of AWS Compute and Networking, tune in to see…
🆕 S3 Tables = S3 buckets для аналитики
https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
По сравнению с возможностью сделать на S3 buckets всё то же самое, S3 Tables обещает:
🔹 up to 3x faster query performance
🔸 up to 10x more transactions per second
И это весьма серьёзное отличие для прожорливых аналитических запросов.
А что с ценой? Отличия по самому хранению минимальные — где-то +5% по сравнению с S3 buckets. Если включить сжатие (S3 Tables compaction), то добавится ещё десяток-другой процентов, что вполне адекватно.
С ходу S3 Tables имеют интеграцию с Athena, Redshift, EMR, Glue Data Catalog и QuickSight.
Итого, нужно брать. С учётом важности работы с данными сейчас, S3 Tables теперь базовый элемент инфраструктуры.
Мои очередные сожаления (поздравления) всевозможным курсам — переделывать (и продавать).
#S3
https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
По сравнению с возможностью сделать на S3 buckets всё то же самое, S3 Tables обещает:
🔹 up to 3x faster query performance
🔸 up to 10x more transactions per second
И это весьма серьёзное отличие для прожорливых аналитических запросов.
А что с ценой? Отличия по самому хранению минимальные — где-то +5% по сравнению с S3 buckets. Если включить сжатие (S3 Tables compaction), то добавится ещё десяток-другой процентов, что вполне адекватно.
С ходу S3 Tables имеют интеграцию с Athena, Redshift, EMR, Glue Data Catalog и QuickSight.
Итого, нужно брать. С учётом важности работы с данными сейчас, S3 Tables теперь базовый элемент инфраструктуры.
Мои очередные сожаления (поздравления) всевозможным курсам — переделывать (и продавать).
#S3
Amazon
New Amazon S3 Tables: Storage optimized for analytics workloads | Amazon Web Services
Amazon S3 Tables optimize tabular data storage (like transactions and sensor readings) in Apache Iceberg, enabling high-performance, low-cost queries using Athena, EMR, and Spark.
🔥11👍4
— А давайте придумаем новое название для Aurora Serverless v2?
— А давайте!
🆕 Aurora DSQL = multi-region Aurora Serverless v2
https://aws.amazon.com/blogs/database/introducing-amazon-aurora-dsql/
#Aurora
— А давайте!
🆕 Aurora DSQL = multi-region Aurora Serverless v2
https://aws.amazon.com/blogs/database/introducing-amazon-aurora-dsql/
#Aurora
🆕 AWS Data Transfer Terminal — будущая замена Snowball Edge
https://aws.amazon.com/blogs/aws/new-physical-aws-data-transfer-terminals-let-you-upload-to-the-cloud-faster/
https://www.youtube.com/watch?v=H2Z-Byu15qA
#DataTransferTerminal
https://aws.amazon.com/blogs/aws/new-physical-aws-data-transfer-terminals-let-you-upload-to-the-cloud-faster/
https://www.youtube.com/watch?v=H2Z-Byu15qA
#DataTransferTerminal
Самые важные изменения в AWS по части сети:
1️⃣ PrivateLink + access VPC resources
2️⃣ PrivateLink + cross-region
3️⃣ Block public access to VPCs and subnets
4️⃣ Share security groups with AWS Organizations
5️⃣ Associate security groups with multiple VPCs
6️⃣ Security Group Referencing on Transit Gateway
7️⃣ ALB + HTTP header modification
8️⃣ AWS Data Transfer Terminals
9️⃣ PrivateLink + UDP + IPv6
Первые два выделены не просто так, ибо это фундаментальные изменения подходов к архитектуре приложений на AWS — теперь снова всё переделывать. 😀
#Network #reInvent
3️⃣ Block public access to VPCs and subnets
4️⃣ Share security groups with AWS Organizations
5️⃣ Associate security groups with multiple VPCs
6️⃣ Security Group Referencing on Transit Gateway
7️⃣ ALB + HTTP header modification
8️⃣ AWS Data Transfer Terminals
9️⃣ PrivateLink + UDP + IPv6
Первые два выделены не просто так, ибо это фундаментальные изменения подходов к архитектуре приложений на AWS — теперь снова всё переделывать. 😀
#Network #reInvent
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon
Access VPC resources through AWS PrivateLink - Amazon Virtual Private Cloud
Learn how to use AWS PrivateLink to access VPC resources that were shared with you.
🔥14👍4❤3
Через три часа от этого поста начнётся первый стрим по новостям с re:Invent, где мы в том числе обсудим выступления Peter DeSantis и Matt Garman:
https://www.youtube.com/live/nn2la97zS9I
Это будет тёплый ламповый стрим, минимумзадолбавшего AI, максимум хардкор hardware, которого на удивление было достаточно на re:Invent 2024.
https://www.youtube.com/live/nn2la97zS9I
Это будет тёплый ламповый стрим, минимум
YouTube
AWS re:Invent 2024 обзор анонсов от: Peter DeSantis и Matt Garman
Давайте обсудим что Matt Garman, CEO of Amazon Web Services и Peter DeSantis, Senior Vice President, AWS Utility Computing, расскажут во время re:Invent 2024. У вас будет отличная возможность, задать ваши вопросы архитекторам из AWS.
🔥4
Forwarded from 42 секунды
CNBC: Apple заявила, что использует ИИ-чипы Amazon
– Apple использует ИИ-чипы Amazon для поиска и др.
– Их также используют для обучения Apple Intelligence
– ML-директор Apple выступил на конференции Amazon
– Это серьезная поддержка AWS со стороны компании
– Apple использует AWS для своих сервисов уже 10+ лет
– AWS используют для Siri, Apple Maps, Apple Music и др.
– Apple также использует ее чипы Inferentia и Graviton
– Она заявила, что чипы повысили эффективность на 40%
– Apple также может начать использовать чип Trainium2
@ftsec
– Apple использует ИИ-чипы Amazon для поиска и др.
– Их также используют для обучения Apple Intelligence
– ML-директор Apple выступил на конференции Amazon
– Это серьезная поддержка AWS со стороны компании
– Apple использует AWS для своих сервисов уже 10+ лет
– AWS используют для Siri, Apple Maps, Apple Music и др.
– Apple также использует ее чипы Inferentia и Graviton
– Она заявила, что чипы повысили эффективность на 40%
– Apple также может начать использовать чип Trainium2
@ftsec
👍21
Forwarded from addmeto (Grigory Bakunov)
Прочитал за вас большой анализ по Trainium2, новой вычислительной платформе от Amazon.
- Главная задача в разработке Trainium2 — повысить конкурентоспособность AWS на рынке предоставления услуг для GenAI.
- AWS делает кластер на 400000 чипов Trainium2 для Anthropic в рамках Проекта Rainier, что указывает на сильное партнерство. Мы часто обсуждали, есть ли связь между амазоном и Антропиком помимо инвестиций.
- Главные цифры — 650 TFLOP/s и 96GB памяти.
- NeuronLinkv3 — шина высокоскоростной внутренней и межсерверной связи, образует очень красивый гиперкуб, в котором 32 узла Trainium2 связаны друг с другом на скорости в 640 гигабит. И пока это чуть ли не самое интересное и свежее во всей конструкции платформы.
- Раздельные движки для работы с разными типами данных (Tensor, Vector, Scalar) тоже выгодно отличают Trainium от классических GPU.
- Trainium2 — это прямой конкурент Nvidia H100 и Google TPU.
- Энергобюджет для кластеров Trainium2 до 48 кВт на сервер Trn2-Ultra. В общем, за потреблением амазону приходится следить.
- AWS внедрила автоматизированные проверки работоспособности и диагностику для обеспечения надежности прямо в платформу. Очень умно и красиво, тут виден прямо подход.
Я вам очень рекомендую прочитать статью самим, прямо глубоко. На фоне недавнего рассказа Эппл о том, что они активно используют Trainium2 и вообще живут на этом куске Амазона, — популярность этого решения будет расти и быстро.
https://semianalysis.com/2024/12/03/amazons-ai-self-sufficiency-trainium2-architecture-networking/
- Главная задача в разработке Trainium2 — повысить конкурентоспособность AWS на рынке предоставления услуг для GenAI.
- AWS делает кластер на 400000 чипов Trainium2 для Anthropic в рамках Проекта Rainier, что указывает на сильное партнерство. Мы часто обсуждали, есть ли связь между амазоном и Антропиком помимо инвестиций.
- Главные цифры — 650 TFLOP/s и 96GB памяти.
- NeuronLinkv3 — шина высокоскоростной внутренней и межсерверной связи, образует очень красивый гиперкуб, в котором 32 узла Trainium2 связаны друг с другом на скорости в 640 гигабит. И пока это чуть ли не самое интересное и свежее во всей конструкции платформы.
- Раздельные движки для работы с разными типами данных (Tensor, Vector, Scalar) тоже выгодно отличают Trainium от классических GPU.
- Trainium2 — это прямой конкурент Nvidia H100 и Google TPU.
- Энергобюджет для кластеров Trainium2 до 48 кВт на сервер Trn2-Ultra. В общем, за потреблением амазону приходится следить.
- AWS внедрила автоматизированные проверки работоспособности и диагностику для обеспечения надежности прямо в платформу. Очень умно и красиво, тут виден прямо подход.
Я вам очень рекомендую прочитать статью самим, прямо глубоко. На фоне недавнего рассказа Эппл о том, что они активно используют Trainium2 и вообще живут на этом куске Амазона, — популярность этого решения будет расти и быстро.
https://semianalysis.com/2024/12/03/amazons-ai-self-sufficiency-trainium2-architecture-networking/
Semianalysis
Amazon’s AI Self Sufficiency | Trainium2 Architecture & Networking
Trn2, Trn2-Ultra, Performance, Software, NeuronLinkv3, EFAv3, TCO, 3D Torus, Networking Costs, Supply Chain
👍13
Aurora DSQL — мечта разработчика
Главным событием re:Invent 2024 определённо является появление Aurora DSQL — новой инкарнации Aurora, как результат её 10 лет разработки.
С появления революционной DynamoDB в 2012-м каждый первый разработчик спрашивал — а можно нам такое же, с этими фичами, только Relational и лучше Postgres?
Теперь можно: Aurora DSQL = multi-region + active-active + serverless + strong-consistency.
Под капотом Aurora DSQL в реальности целый комбайн сервисов. Представьте, что каждый ваш запрос обрабатывается отдельной Лямбдой. С великолепными возможностями скейлинга, причём крайне эффективного и отдельным сервисом для хранилища, отделяя таким образом compute от storage.
А самое офигительное, что практически удалив кэширование (сделав его динамическим) и с использованием принципиально ускорившейся за последние годы сети, удалось сделать Aurora DSQL волшебным strongly consistent даже в контексте мульти-регион конфигурации.
Ещё не до конца разобрался, как AWS удалось победить проблему скорости света. 😀 Ведь при использовании регионов на разных сторонах Земли задержка будет в секунду просто на прохождение таких расстояний. Подожду Aurora DSQL Deep Dive видео с re:Invent 2024.
Вот хорошие статьи с подкапотными деталями Aurora DSQL:
🔸 https://blog.datachef.co/aurora-dsql-a-new-boring-aws-serverless-postgres-compatible-database
🔹 https://brooker.co.za/blog/2024/12/04/inside-dsql.html
Добавляйте свои мысли/ссылки по Aurora DSQL в комментариях.
P.S. Aurora DSQL заявлена как "serverless", но не подразумевает скейла в 0. Как минимум это справедливо для текущей версии.
#Aurora
Главным событием re:Invent 2024 определённо является появление Aurora DSQL — новой инкарнации Aurora, как результат её 10 лет разработки.
С появления революционной DynamoDB в 2012-м каждый первый разработчик спрашивал — а можно нам такое же, с этими фичами, только Relational и лучше Postgres?
Теперь можно: Aurora DSQL = multi-region + active-active + serverless + strong-consistency.
Под капотом Aurora DSQL в реальности целый комбайн сервисов. Представьте, что каждый ваш запрос обрабатывается отдельной Лямбдой. С великолепными возможностями скейлинга, причём крайне эффективного и отдельным сервисом для хранилища, отделяя таким образом compute от storage.
А самое офигительное, что практически удалив кэширование (сделав его динамическим) и с использованием принципиально ускорившейся за последние годы сети, удалось сделать Aurora DSQL волшебным strongly consistent даже в контексте мульти-регион конфигурации.
Ещё не до конца разобрался, как AWS удалось победить проблему скорости света. 😀 Ведь при использовании регионов на разных сторонах Земли задержка будет в секунду просто на прохождение таких расстояний. Подожду Aurora DSQL Deep Dive видео с re:Invent 2024.
Вот хорошие статьи с подкапотными деталями Aurora DSQL:
🔸 https://blog.datachef.co/aurora-dsql-a-new-boring-aws-serverless-postgres-compatible-database
🔹 https://brooker.co.za/blog/2024/12/04/inside-dsql.html
Добавляйте свои мысли/ссылки по Aurora DSQL в комментариях.
P.S. Aurora DSQL заявлена как "serverless", но не подразумевает скейла в 0. Как минимум это справедливо для текущей версии.
#Aurora
DataChef's Blog
Aurora DSQL - A NEW boring(?) AWS Serverless Postgres compatible database
Aurora DSQL is a serverless, distributed database with PostgreSQL compatibility. Serverless and relational databases don't usually mix, but AWS has modernized this traditional classic car(PostgresSQL), with a brand-new interior powered by a Formula 1...
👍15❤2🔥2😱2
𝐁𝐞𝐜𝐨𝐦𝐞 𝐚𝐧 𝐀𝐖𝐒 𝐏𝐫𝐚𝐜𝐭𝐢𝐭𝐢𝐨𝐧𝐞𝐫 𝐢𝐧 5 𝐰𝐞𝐞𝐤𝐬 😎
Join our free online course starting on 9th December 2024!
With weekly assignments and online sessions led by RS School trainers, Anton Kustikov (Systems Engineer, AWS DevOps Engineer) and Saidazizkhon Akbarov (Solutions Architect / AWS Community Builder), you'll have the support you need to succeed.
By the end of the course, you'll have a solid foundation in AWS Basics. Plus, you'll receive an "AWS Cloud Quest: Cloud Practitioner" digital badge to showcase your achievement.
■ "AWS Cloud Quest: Cloud Practitioner" Badge
■ Free
■ Online
■ In English
■ 9th December 2024!
🔥 No previous experience is required!
Don't miss out on this opportunity to learn with our community of developers!
Find out more details and enroll by the link:
https://wearecommunity.io/events/aws-fundamentals-course-2024q4
🖤 We would really appreciate it if you could share this information with your friends.
Join our free online course starting on 9th December 2024!
With weekly assignments and online sessions led by RS School trainers, Anton Kustikov (Systems Engineer, AWS DevOps Engineer) and Saidazizkhon Akbarov (Solutions Architect / AWS Community Builder), you'll have the support you need to succeed.
By the end of the course, you'll have a solid foundation in AWS Basics. Plus, you'll receive an "AWS Cloud Quest: Cloud Practitioner" digital badge to showcase your achievement.
■ "AWS Cloud Quest: Cloud Practitioner" Badge
■ Free
■ Online
■ In English
■ 9th December 2024!
🔥 No previous experience is required!
Don't miss out on this opportunity to learn with our community of developers!
Find out more details and enroll by the link:
https://wearecommunity.io/events/aws-fundamentals-course-2024q4
🖤 We would really appreciate it if you could share this information with your friends.
👍6👎6❤3
Forwarded from IT STAND
Live: Почему публичные облака сломаны как технология
🗓 в эту пятницу в 20:00 по МСК
Вместе с Georg Gaal @gecube и Andrey Gumilev @Agumilev
всё самое важное будем рассказывать на стриме ;)
Прямая трансляция: https://www.youtube.com/live/JlYl1EMzjJs?si=vsouUm1rfWcPFYLl
с ответами на вопросы из чата YouTube
🔥IT STAND |FIDELINA.RU | Бот
🗓 в эту пятницу в 20:00 по МСК
Вместе с Georg Gaal @gecube и Andrey Gumilev @Agumilev
всё самое важное будем рассказывать на стриме ;)
Прямая трансляция: https://www.youtube.com/live/JlYl1EMzjJs?si=vsouUm1rfWcPFYLl
с ответами на вопросы из чата YouTube
🔥IT STAND |
👍36🔥29👎14
Forwarded from AWS Weekly (Max Skutin)
▪️ AI Service Cards responsible generative AI
▪️ Amazon FSx Intelligent-Tiering
▪️ Aurora a quick create vector store in Bedrock Knowledge Bases
▪️ Aurora DSQL new serverless, distributed SQL database with active-active high availability | Preview
▪️ AWS Glue 5.0
▪️ Bedrock Data Automation | Preview
▪️ Bedrock Guardrails Automated Reasoning checks | Preview
▪️ Bedrock Guardrails multimodal toxicity detection for image content | Preview
▪️ Bedrock Intelligent Prompt Routing | Preview
▪️ Bedrock Knowledge Bases auto-generated query filters for improved retrieval
▪️ Bedrock Knowledge Bases custom connectors and ingestion of streaming data
▪️ Bedrock Knowledge Bases now processes multimodal data
▪️ Bedrock Knowledge Bases now supports GraphRAG | Preview
▪️ Bedrock Knowledge Bases RAG evaluation Preview
▪️ Bedrock Knowledge Bases streaming responses with RetrieveAndGenerateStream API
▪️ Bedrock Knowledge Bases structured data retrieval
▪️ Bedrock latency-optimized inference for FM
▪️ Bedrock Marketplace +100 models to Amazon Bedrock
▪️ Bedrock Model Distillation | Preview
▪️ Bedrock Model Evaluation LLM-as-a-judge | Preview
▪️ Bedrock multi-agent collaboration
▪️ Bedrock Nova foundation models
▪️ Bedrock preview of prompt caching
▪️ Bedrock Rerank API to improve accuracy of RAG applications
▪️ Clean Rooms multiple clouds and data sources
▪️ CloudWatch centralized visibility into telemetry configurations
▪️ CloudWatch Container Insights enhanced observability for ECS
▪️ CloudWatch Database Insights
▪️ CloudWatch network performance monitoring for AWS workloads using flow monitors
▪️ CloudWatch OpenSearch Service launch an integrated analytics experience
▪️ Config now supports a service-linked recorder
▪️ Connect ability to record audio during IVR and other automated interactions
▪️ Connect AI assistant for customer segments and trigger-based campaigns
▪️ Connect AI guardrails for Amazon Q in Connect
▪️ Connect collect sensitive customer data within chats
▪️ Connect Contact Lens built-in dashboards to analyze conversational AI bot performance
▪️ Connect Contact Lens categorizes your contacts using generative AI
▪️ Connect Contact Lens external voice
▪️ Connect Contact Lens now automates agent performance evaluations using gen- AI
▪️ Connect external voice transfers
▪️ Connect gen-AI powered self-service with Amazon Q in Connect
▪️ Connect new intraday forecast dashboards
▪️ Connect Salesforce Contact Center | Preview
▪️ Connect simplified conversational AI bot creation
▪️ Connect WhatsApp Business messaging
▪️ Control Tower managed controls using declarative policies
▪️ Databricks on AWS streamlined deployment experience
▪️ Data Lineage is now generally available in DataZone and next generation of Amazon SageMaker
▪️ Data Transfer Terminal for high-speed data uploads
▪️ DMS Schema Conversion now uses generative AI
▪️ DynamoDB global tables previews multi-Region strong consistency
▪️ DynamoDB zero-ETL integration with SageMaker Lakehouse
▪️ EC2 P5en optimized for gen-AI and HPC | GA
▪️ EC2 Trn2 instances | GA
▪️ EC2 Allowed AMIs to enhance AMI governance
▪️ EC2 I8g instances
▪️ EC2 next-gen high density Storage Optimized I7ie instances
▪️ Education Equity Initiative to boost education for underserved learners
▪️ EKS Auto Mode
▪️ EKS Hybrid Nodes
▪️ Elastic VMware Service announce | Preview
▪️ EventBridge & Step Functions integration with private APIs
▪️ Glue Data catalog now automates generating statistics for new tables
▪️ GuardDuty Extended Threat Detection
▪️ Invoice Configuration announce
▪️ Kendra GenAI Index
▪️ Marketplace Deploy GROW with SAP
▪️ Marketplace EC2 Image Builder components from ISV
▪️ MemoryDB Multi-Region | GA
▪️ OpenSearch Service zero-ETL integration with Security Lake
▪️ Oracle Database@AWS is now in limited preview
▪️ Organizations declarative policies
▪️ Outposts third-party block storage arrays
▪️ Partners Consumer Goods Competency
▪️ Partners Digital Sovereignty Competency
Please open Telegram to view this post
VIEW IN TELEGRAM