Forwarded from AWS Weekly (Max Skutin)
▪️ Partners Partner Connections | Preview
▪️ Partners Security Incident Response
▪️ Partners Security Lake Ready Specialization
▪️ Partners solution discovery and procurement
▪️ PartyRock upcoming free daily use
▪️ PrivateLink access to VPC resources
▪️ Q Business +50 actions for popular business applications and platforms
▪️ Q Business databases and data warehouses insights | Preview
▪️ Q Business extract insights from visual elements within documents
▪️ Q Developer announces automatic unit test generation
▪️ Q Developer can now automate code reviews
▪️ Q Developer generate documentation within your source code
▪️ Q Developer guide SageMaker Canvas users through ML development
▪️ Q Developer operational investigation capability | Preview
▪️ Q Developer transformation capabilities for mainframe modernization | Preview
▪️ Q Developer transformation capabilities for .NET porting | Preview
▪️ Q Developer transformation capabilities for VMware | Preview
▪️ Q GitLab Duo | Preview
▪️ Q index enhances software vendors’ AI experiences
▪️ Q in QuickSight scenarios analysis capability | Preview
▪️ Q QuickSight unifies insights from structured and unstructured data
▪️ RDS Performance Insights On-demand Analysis in new regions
▪️ S3 Access Grants integrate with AWS Glue
▪️ S3 Metadata manage your metadata | Preview
▪️ S3 new default data integrity protections
▪️ S3 Storage Browser | GA
▪️ S3 storage classes for AWS Dedicated Local Zones
▪️ S3 Tables Fully managed Apache Iceberg tables optimized for analytics workloads
▪️ SageMaker Data and AI Governance
▪️ SageMaker HyperPod flexible training plans
▪️ SageMaker HyperPod recipes
▪️ SageMaker HyperPod Task governance | GA
▪️ SageMaker Lakehouse and Glue expands data connectivity
▪️ SageMaker Lakehouse
▪️ SageMaker Lakehouse integrated access controls in Athena federated queries
▪️ SageMaker Lakehouse & Redshift zero-ETL integrations from 8 apps
▪️ SageMaker next generation
▪️ SageMaker Partner AI Apps
▪️ SageMaker scaling of Generative AI Inference
▪️ SageMaker SDK enhances training and inference workflows
▪️ SageMaker Unified Studio Bedrock IDE | Preview
▪️ SageMaker Unified Studio | Preview
▪️ Security Incident Response for general availability
▪️ Transfer Family web apps
▪️ Verified Access secure access to resources over non-HTTPS | Preview
▪️ VPC Lattice TCP support with VPC Resources
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем привет .
🔥 Выпущена версия 0.16.1 платформы для изучения SRE! 🔥
GitHub
📌 Что нового:
Лабораторная работа CKS 26: Установка Cilium с WireGuard
Решение для CKS 26 .
Видео-решение для CKS 26
Лабораторная работа CKA 08 обновлена до версии Kubernetes 1.31
Обновлён образ ping_pong
Тест CKAD Mock 02 обновлён. Добавлен вопрос 21
Решения для теста CKAD Mock 02 вопрос 21
Тест CKAD Mock 02: обновлён вопрос 02
Решение для вопроса 02 теста CKAD Mock 02
🧪 Доступные пробные экзамены:
CKA
CKAD
CKS
LFCS
Скрипты и видео с решениями экзаменов:
🎥 Трансляции на канале DKT:
Обсуждение подготовки и сдачи экзаменов CKA, CKS, CKAD:
Первый эпизод подготовки к экзамену CKAD
🔥 Выпущена версия 0.16.1 платформы для изучения SRE! 🔥
GitHub
📌 Что нового:
Лабораторная работа CKS 26: Установка Cilium с WireGuard
Решение для CKS 26 .
Видео-решение для CKS 26
Лабораторная работа CKA 08 обновлена до версии Kubernetes 1.31
Обновлён образ ping_pong
Тест CKAD Mock 02 обновлён. Добавлен вопрос 21
Решения для теста CKAD Mock 02 вопрос 21
Тест CKAD Mock 02: обновлён вопрос 02
Решение для вопроса 02 теста CKAD Mock 02
🧪 Доступные пробные экзамены:
CKA
CKAD
CKS
LFCS
Скрипты и видео с решениями экзаменов:
🎥 Трансляции на канале DKT:
Обсуждение подготовки и сдачи экзаменов CKA, CKS, CKAD:
Первый эпизод подготовки к экзамену CKAD
GitHub
GitHub - ViktorUJ/cks: Open-source Platform for learning kubernetes and aws eks and preparation for for Certified Kubernetes…
Open-source Platform for learning kubernetes and aws eks and preparation for for Certified Kubernetes exams (CKA ,CKS , CKAD) - GitHub - ViktorUJ/cks: Open-source Platform for learning kubern...
2🔥32👍6❤2
Forwarded from AWS Weekly (Max Skutin)
▪️ AppStream 2.0 save user preferences between streaming sessions
▪️ Backup cross-account management in opt-in Regions
▪️ Bedrock Guardrails
▫️ reduces pricing by up to 85%
▫️ Spanish and French languages
▪️ Cloud Map Service Level Attributes
▪️ Connect
▫️ holiday overrides for Hours of operation
▫️ push notifications for mobile chat
▪️ Direct Connect location in Osaka, Japan
▪️ DynamoDB FIPS 140-3 interface VPC and Streams endpoints
▪️ EC2
▫️ bandwidth configurations for VPC and EBS
▫️ High Memory U7i Instances with 6TiB and 8TiB of memory
▪️ Elemental MediaConnect Gateway source-specific multicast
▪️ IoT Core for LoRaWAN new feature enhancements
▪️ IVS Thumbnails Recording for Real-Time Streaming
▪️ Lex new multilingual speech recognition models
▪️ MQ now supports AWS PrivateLink
▪️ OpenSearch Service r7gd instances +6 regions
▪️ RDS for PostgreSQL Extended Support minor 11.22-RDS.20241121
▪️ RDS for SQL Server new custom parameters for native backup and restore
▪️ Redshift auto and incremental refresh of Materialized Views for zero-ETL integrations
▪️ Research and Engineering Studio v2024.12
▪️ Resource Explorer +59 new resource types
▪️ Resource Groups +405 more resource types
▪️ SageMaker AI availability of P5e and G6e instances for Inference
▪️ Security Hub PCI DSS v4.0.1 standard
▪️ SES
▫️ Deterministic Easy DKIM
▫️ Global Endpoints for multi-region sending resilience
▪️ Toolkit for VS Code CloudWatch Logs Live Tail
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍1
Постквантовая криптография наступает/-ила
Тема PQC (Post-Quantum Cryptography) сильно продвинулась в 2024-м году. Во-первых, 2024-м году NIST утвердил три главных алгоритма, с которыми предстоить жить, внедрять, переходить в будущем. Сложные названия переименовали для простоты.
◽ ML-KEM (Module-Lattice Key-Encapsulation Mechanism) — бывший CRYSTALS-Kyber
◽ ML-DSA (Module-Lattice Digital Signature) — бывший CRYSTALS-Dilithium
◽ SLH-DSA (Stateless Hash Digital Signature) — бывший Sphincs+
Во время re:Invent 2024 вышел достаточно объёмный план перехода AWS на PQC по всем фронтам:
https://aws.amazon.com/blogs/security/aws-post-quantum-cryptography-migration-plan/
Кто впервые слышит про PQC, то кратко — с прогрессом в области квантовых вычислений можно будет взламывать подавляющее большинство привычных методов шифрования на ура. Некоторые утверждают, что это свершившийся факт ещё пару лет назад.
Для простоты, если вы используете как бы безопасный сейчас TLS 1.2, то в недалёком будущем любой дуракиз спецслужб с квантовым компьютером, имеющим достаточное количество кубит, сделает это на лету. И даже если это будет через десяток лет (и даже не один), то проблема в том, что уже сейчас можно записать, чтобы после расшифровать.
Поэтому так форсируется переход на алгоритмы, которые не получится взломать даже с помощью самых суровых квантовых компьютеров.
Интересно, что некоторые (безопасники Австралии) бегут впереди PQC-паровоза и уже сейчас предупреждают, что самые ходовые алгоритмы шифрования будут запрещены к использованию после 2030-го года:
🔹 AES-128 и AES-192
🔸 RSA — все
🔹 SHA-224 и SHA-256
🔸 HMAC-SHA256
🔹 DH и ECDH — все
🔸 ECDSA — все
Такие же планы есть у NIST, лишь на пяток лет позже. Уверен, что AWS внедрит это ещё раньше. Поэтому стоит держать в голове уже сейчас, выбирая себе допустимые алгоритмы шифрования, ежели у вас серьёзный по этой части проект.
Интересно отметить, что Google Chrome начиная с 131-й версии (которая должна быть у вас на момент написания поста) поддерживает ML-KEM.
Полезные ссылки:
https://aws.amazon.com/security/post-quantum-cryptography/
https://csrc.nist.gov/news/2024/postquantum-cryptography-fips-approved
#PQC #security
Тема PQC (Post-Quantum Cryptography) сильно продвинулась в 2024-м году. Во-первых, 2024-м году NIST утвердил три главных алгоритма, с которыми предстоить жить, внедрять, переходить в будущем. Сложные названия переименовали для простоты.
◽ ML-KEM (Module-Lattice Key-Encapsulation Mechanism) — бывший CRYSTALS-Kyber
◽ ML-DSA (Module-Lattice Digital Signature) — бывший CRYSTALS-Dilithium
◽ SLH-DSA (Stateless Hash Digital Signature) — бывший Sphincs+
Во время re:Invent 2024 вышел достаточно объёмный план перехода AWS на PQC по всем фронтам:
https://aws.amazon.com/blogs/security/aws-post-quantum-cryptography-migration-plan/
Кто впервые слышит про PQC, то кратко — с прогрессом в области квантовых вычислений можно будет взламывать подавляющее большинство привычных методов шифрования на ура. Некоторые утверждают, что это свершившийся факт ещё пару лет назад.
Для простоты, если вы используете как бы безопасный сейчас TLS 1.2, то в недалёком будущем любой дурак
Поэтому так форсируется переход на алгоритмы, которые не получится взломать даже с помощью самых суровых квантовых компьютеров.
Интересно, что некоторые (безопасники Австралии) бегут впереди PQC-паровоза и уже сейчас предупреждают, что самые ходовые алгоритмы шифрования будут запрещены к использованию после 2030-го года:
🔹 AES-128 и AES-192
🔸 RSA — все
🔹 SHA-224 и SHA-256
🔸 HMAC-SHA256
🔹 DH и ECDH — все
🔸 ECDSA — все
Такие же планы есть у NIST, лишь на пяток лет позже. Уверен, что AWS внедрит это ещё раньше. Поэтому стоит держать в голове уже сейчас, выбирая себе допустимые алгоритмы шифрования, ежели у вас серьёзный по этой части проект.
Интересно отметить, что Google Chrome начиная с 131-й версии (которая должна быть у вас на момент написания поста) поддерживает ML-KEM.
Полезные ссылки:
https://aws.amazon.com/security/post-quantum-cryptography/
https://csrc.nist.gov/news/2024/postquantum-cryptography-fips-approved
#PQC #security
Amazon
AWS post-quantum cryptography migration plan | Amazon Web Services
Amazon Web Services (AWS) is migrating to post-quantum cryptography (PQC). Like other security and compliance features in AWS, we will deliver PQC as part of our shared responsibility model. This means that some PQC features will be transparently enabled…
👍14🔥5🤯4
Всем привет!
В этот четверг, 19 декабря, пройдет стрим на тему AWS Re:Invent 2024 Quick Recap.
Sergey Kirgizov и Said Akhmed Agitaev ездили в Лас-Вегас, чтобы лично посетить конференцию. На стриме они поделятся своим опытом, впечатлениями, а также кратко расскажут об основных темах конференции.
📺 Встреча начнется в 14:00 CET (GMT+1) на YouTube-канале:
https://www.youtube.com/watch?v=YgQIFAxrrR4
А саму встречу будет вести Saidazizkhon Akbarov.
Не забудьте нажать на колокольчик, чтобы не пропустить начало! 🔔
Ждем вас и ваши комментарии!
В этот четверг, 19 декабря, пройдет стрим на тему AWS Re:Invent 2024 Quick Recap.
Sergey Kirgizov и Said Akhmed Agitaev ездили в Лас-Вегас, чтобы лично посетить конференцию. На стриме они поделятся своим опытом, впечатлениями, а также кратко расскажут об основных темах конференции.
📺 Встреча начнется в 14:00 CET (GMT+1) на YouTube-канале:
https://www.youtube.com/watch?v=YgQIFAxrrR4
А саму встречу будет вести Saidazizkhon Akbarov.
Не забудьте нажать на колокольчик, чтобы не пропустить начало! 🔔
Ждем вас и ваши комментарии!
🔥11👍4
☁️ RS AWS Club ☁️
Продолжаем серию практических встреч c Anton Kovalenko (Senior Solutions Architect, AWS Munich).
В эту пятницу, 20 декабря, нас ждет продолжение рефакторинга приложения с помощью Amazon Q Developer, а именно написание юнит тестов.
📺 Встреча пройдет в 15:00 CET (GMT+1) на YouTube канале:
https://www.youtube.com/watch?v=OE8Vz_1GB7U
Жмите колокольчик, чтобы не пропустить начало! 🔔
Продолжаем серию практических встреч c Anton Kovalenko (Senior Solutions Architect, AWS Munich).
В эту пятницу, 20 декабря, нас ждет продолжение рефакторинга приложения с помощью Amazon Q Developer, а именно написание юнит тестов.
📺 Встреча пройдет в 15:00 CET (GMT+1) на YouTube канале:
https://www.youtube.com/watch?v=OE8Vz_1GB7U
Жмите колокольчик, чтобы не пропустить начало! 🔔
👍6❤2
ARM & Graviton vs x86 & Intel/AMD
Есть важное отличие у ARM процессоров (Graviton) и x86 (Intel/AMD). У ARM процессоров нет Hyper-threading, то есть разбиения одного физического CPU на два логических, видимых для системы как обычные CPU.
Сделано это для того, чтобы загрузить процессор, пока он простаивает. А он действительно большую часть простаивает, т.к. операции загрузки из памяти (при промахе из кэша или ошибки предсказания переходов) занимают бесконечно много тактов по сравнению с непосредственно выполнением.
Разбиение на логические процессоры сделано на железном уровне и крайне эффективно, практически как надёжность S3 бакета. С одним важным НО — до 50% нагрузки. Потому что, если два логических шарятся на один физический, то оба логических можно загрузить лишь 50%+50% в одно и то же время.
Для облаков это имеет эффектом, что если у вас виртуалка на Intel или AMD, то при повышении постоянной нагрузки выше 50%, тормоза могут проявляться скачкообразно, а не линейно, как вы планируете.
На картинке пример от серверного процессора на ARM при кодировании видео для 192 физических процессоров AmpereOne и 192 логических x86 (не нашёл, Intel или AMD). Видно, что после 50% логические больше дать не могут, что логично. 😀
В то время, как ARM график продолжает расти. Что тоже логично — ведь больше реальных процессоров то в два раза больше.
Замечу, что подобный эффект проявляется на специфичных нагрузках, когда требуется максимальный compute. Однако при прочих равных лучше сразу ориентироваться на Graviton — и дешевле (либо эффективней для более новых моделей), и более предсказуемой, и быстрей.
P.S. Graviton 4 рвёт AmpereOne как тузик грелку.
#Graviton
Есть важное отличие у ARM процессоров (Graviton) и x86 (Intel/AMD). У ARM процессоров нет Hyper-threading, то есть разбиения одного физического CPU на два логических, видимых для системы как обычные CPU.
Сделано это для того, чтобы загрузить процессор, пока он простаивает. А он действительно большую часть простаивает, т.к. операции загрузки из памяти (при промахе из кэша или ошибки предсказания переходов) занимают бесконечно много тактов по сравнению с непосредственно выполнением.
Разбиение на логические процессоры сделано на железном уровне и крайне эффективно, практически как надёжность S3 бакета. С одним важным НО — до 50% нагрузки. Потому что, если два логических шарятся на один физический, то оба логических можно загрузить лишь 50%+50% в одно и то же время.
Для облаков это имеет эффектом, что если у вас виртуалка на Intel или AMD, то при повышении постоянной нагрузки выше 50%, тормоза могут проявляться скачкообразно, а не линейно, как вы планируете.
На картинке пример от серверного процессора на ARM при кодировании видео для 192 физических процессоров AmpereOne и 192 логических x86 (не нашёл, Intel или AMD). Видно, что после 50% логические больше дать не могут, что логично. 😀
В то время, как ARM график продолжает расти. Что тоже логично — ведь больше реальных процессоров то в два раза больше.
Замечу, что подобный эффект проявляется на специфичных нагрузках, когда требуется максимальный compute. Однако при прочих равных лучше сразу ориентироваться на Graviton — и дешевле (либо эффективней для более новых моделей), и более предсказуемой, и быстрей.
P.S. Graviton 4 рвёт AmpereOne как тузик грелку.
#Graviton
👍15🔥8❤4
Custom Billing Views
В дополнение к возможности выставлять инвойс отдельно на какой-то "кусочек" AWS Organizations, теперь можно давать доступ к группе аккаунтов для отдельных команд (или клиентов), владеющих несколькими AWS аккаунтами:
https://aws.amazon.com/blogs/aws-cloud-financial-management/introducing-custom-billing-views-tailored-cost-and-usage-view-relevant-for-your-stakeholders/
То есть, если у вас есть Dev-Test-Stage-Prod аккаунты (а если нет — читайте multi-account best practices), вы теперь можете дать определённому аккаунту доступ к биллингу на эти четыре аккаунта и видеть это в одном месте, а не бегать по каждому аккаунту.
Другая крутая фича, что позволяет custom billing views, это возможность дать какому-то аккаунту доступ чисто к биллингу. Стандартная ситуация — просят помочь разобраться с биллингом, чтобы порезать косты, но сделать это просто так не получается, т.к. для этого приходилось давать доступ в главный Management аккаунт со всеми вытекающими.
Теперь же можно выдать отдельный пустой аккаунт, где не будет ничего, кроме доступа к биллингу всей (или части) организации. Так и безопасники довольны, и косты можно посоветовать, как порезать.
P.S. А порезать можно примерно всегда. Проверено на живых людях. Причём процесс оптимизации даже может быть бесплатным, когда клиент платит % от сэкономленного.
#billing #cost_optimization
В дополнение к возможности выставлять инвойс отдельно на какой-то "кусочек" AWS Organizations, теперь можно давать доступ к группе аккаунтов для отдельных команд (или клиентов), владеющих несколькими AWS аккаунтами:
https://aws.amazon.com/blogs/aws-cloud-financial-management/introducing-custom-billing-views-tailored-cost-and-usage-view-relevant-for-your-stakeholders/
То есть, если у вас есть Dev-Test-Stage-Prod аккаунты (а если нет — читайте multi-account best practices), вы теперь можете дать определённому аккаунту доступ к биллингу на эти четыре аккаунта и видеть это в одном месте, а не бегать по каждому аккаунту.
Другая крутая фича, что позволяет custom billing views, это возможность дать какому-то аккаунту доступ чисто к биллингу. Стандартная ситуация — просят помочь разобраться с биллингом, чтобы порезать косты, но сделать это просто так не получается, т.к. для этого приходилось давать доступ в главный Management аккаунт со всеми вытекающими.
Теперь же можно выдать отдельный пустой аккаунт, где не будет ничего, кроме доступа к биллингу всей (или части) организации. Так и безопасники довольны, и косты можно посоветовать, как порезать.
P.S. А порезать можно примерно всегда. Проверено на живых людях. Причём процесс оптимизации даже может быть бесплатным, когда клиент платит % от сэкономленного.
#billing #cost_optimization
Amazon
Introducing custom billing views: tailored cost and usage view for your stakeholders | Amazon Web Services
Today, we are excited to announce custom billing views, a new feature within AWS Billing and Cost Management that allows you to grant member accounts in your organization access to cost and usage view spanning multiple member accounts. Many of you have teams…
🔥5👍2
Deep dive on Amazon S3
https://www.youtube.com/watch?v=NXehLy7IiPM
S3:
🔸400 trillion objects amounting to exabytes of data
🔹150 million requests per second daily
🔸200 billion event notifications
🔹1 petabyte per second of traffic worldwide at peak
🔸tens of millions of hard drives, 20 terabytes each
🔹storage rack is about 1000 disks, 20 petabytes each
#S3 #video
https://www.youtube.com/watch?v=NXehLy7IiPM
S3:
🔸400 trillion objects amounting to exabytes of data
🔹150 million requests per second daily
🔸200 billion event notifications
🔹1 petabyte per second of traffic worldwide at peak
🔸tens of millions of hard drives, 20 terabytes each
🔹storage rack is about 1000 disks, 20 petabytes each
#S3 #video
YouTube
AWS re:Invent 2024 - Dive deep on Amazon S3 (STG302)
Amazon S3 provides developers and IT teams with cloud object storage that delivers industry-leading scalability, durability, security, and performance. Amazon S3 averages over 150 million requests per second across millions of hard drives to handle some of…
🔥15❤2
Free course for learning OpenTofu:
https://training.linuxfoundation.org/express-learning/getting-started-with-opentofu-lfel1009/
#OpenTofu
https://training.linuxfoundation.org/express-learning/getting-started-with-opentofu-lfel1009/
#OpenTofu
Linux Foundation - Education
Getting Started with OpenTofu (LFEL1009) | Linux Foundation Education
Enroll today to quickly start managing Infrastructure as Code (IaC) using OpenTofu to automate, scale and optimize infrastructure provisioning!
👎5😁3🔥2
Try again — the tools and techniques behind resilient systems
https://www.youtube.com/watch?v=rvHd4Y76-fs
#design #video
https://www.youtube.com/watch?v=rvHd4Y76-fs
You learn the most from your worst days.
Don't make availability worse trying to make it better.
There's any good reason not to Jitter if you're gonna do retries.
Avoid binary on/off circuit breakers — they can make system problems worse.
Don't kick your services when they're down — systems under stress need help, not more load.
Instead of sleeping for N seconds, sleep for a random number between zero and two N seconds.
Retries are like telling your overworked boss you need time off, and they give you 4x more work instead.
#design #video
YouTube
AWS re:Invent 2024 - Try again: The tools and techniques behind resilient systems (ARC403)
Grand architectural theories are nice, but what makes systems resilient is in the details. Marc Brooker, VP and distinguished engineer, looks at some of the resiliency tools and techniques AWS uses in its systems. Marc rethinks, retries, breaks open circuit…
🔥7❤1
Я DevOps Engineer и моя зарплата в 2024-м году:
Anonymous Poll
6%
Значительно выросла 😃
23%
Выросла 🙂
31%
Не изменилась 😐
3%
Упала 🙁
2%
Значительно упала 😞
35%
👀 Я не DevOps Engineer (посмотреть результаты)
Я Backend Developer и моя зарплата в 2024-м году:
Anonymous Poll
3%
Значительно выросла 😃
8%
Выросла 🙂
13%
Не изменилась 😐
2%
Упала 🙁
1%
Значительно упала 😞
73%
👀 Я не Backend Developer (посмотреть результаты)
👍1
Я Frontend (Mobile, Full Stack) Developer и моя зарплата в 2024-м году:
Anonymous Poll
1%
Значительно выросла 😃
2%
Выросла 🙂
6%
Не изменилась 😐
1%
Упала 🙁
1%
Значительно упала 😞
90%
👀 Я не Frontend (Mobile, Full Stack) Developer (посмотреть результаты)
Я QA Engineer и моя зарплата в 2024-м году:
Anonymous Poll
0%
Значительно выросла 😃
1%
Выросла 🙂
3%
Не изменилась 😐
1%
Упала 🙁
1%
Значительно упала 😞
94%
👀 Я не QA Engineer (посмотреть результаты)
Я AI/ML Ops Engineer и моя зарплата в 2024-м году:
Anonymous Poll
3%
Выросла 🙂
0%
Значительно выросла 😃
0%
Кратно выросла 😁
96%
👀 К сожалению, я не AI/ML Ops Engineer (посмотреть результаты)
😁38💩1