AWS Notes
5.59K subscribers
452 photos
42 videos
10 files
2.81K links
AWS Notes — Amazon Web Services Educational and Information Channel

Chat: https://t.iss.one/aws_notes_chat

Contacts: @apple_rom, https://www.linkedin.com/in/roman-siewko/
Download Telegram
AWS outage in progress...
Increased Error Rates and Latencies

Jun 13 1:38 PM PDT We are beginning to see an improvement in the Lambda function error rates. We are continuing to work towards full recovery.

Jun 13 1:14 PM PDT We are continuing to work to resolve the error rates invoking Lambda functions. We're also observing elevated errors obtaining temporary credentials from the AWS Security Token Service, and are working in parallel to resolve these errors.

Jun 13 12:36 PM PDT We are continuing to experience increased error rates and latencies for multiple AWS Services in the US-EAST-1 Region. We have identified the root cause as an issue with AWS Lambda, and are actively working toward resolution. For customers attempting to access the AWS Management Console, we recommend using a region-specific endpoint (such as: https://us-west-2.console.aws.amazon.com). We are actively working on full mitigation and will continue to provide regular updates.

Jun 13 12:26 PM PDT We have identified the root cause of the elevated errors invoking AWS Lambda functions, and are actively working to resolve this issue.

Jun 13 12:19 PM PDT AWS Lambda function invocation is experiencing elevated error rates. We are working to identify the root cause of this issue.

Jun 13 12:08 PM PDT We are investigating increased error rates and latencies in the US-EAST-1 Region.

Degradation (4 services)
AWS CloudFormation
AWS Lambda
Amazon API Gateway
Amazon Connect

Total affected services: 72
👍1
The main cause of AWS us-east-1 outage June 13, 2023 was
Final Results
31%
DNS
17%
Network
4%
Disk space
10%
AI
0%
Other
38%
See results 👀
4
​​🆕 Amazon EC2 M7a instances, powered by 4th generation AMD EPYC processors, deliver up to 50% higher performance compared to M6a instances:

https://aws.amazon.com/ec2/instance-types/m7a/

▫️ 4th Gen AMD EPYC 9004 Genoa
▫️ 96 CPU Cores / 192 Threads
▫️ Base Freq 2.4GHz / Boost Up to 3.7GHz
▫️ DDR5 4800
▫️ L3 Cache 384MB
▪️ AVX3-512
▪️ BFloat16 

#EC2 #AMD
🔥9👍4
​​EC2 Instance Connect Endpoint — присоединяемся по SSH/RDP к виртуалкам из приватной подсети (без публичного IP):

https://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/Connect-using-EC2-Instance-Connect-Endpoint.html

Хорошая мысль, запоздавшая на надцать лет — сколько бастионов перебастионили. К сожалению, только IPv4. И почему это будет лучше старого-доброго SSM Session Manager пока ещё не знаю.

P.S. EICE денег не ест (только за Data Transfer).

#EC2
👍183🔥2
​​Свежий опрос Stack Overflow — Developer Survey 2023 :

https://survey.stackoverflow.co/2023/#overview

Коротко:
Python вышел на второе место (HTML идёт лесом)
PostgreSQL на первое
AWS по-прежнему в лидерах с большим отрывом
Oracle Cloud растёт и обогнал OVH
IBM Cloud всё ещё не вылетел из опроса
AWS CodeWhisperer в тройке главных AI devtools
ChatGPT + Bing AI используют больше 100% разработчиков (проверьте сами) 😁
👍7🔥1
​​📌 Присоединяемся с помощью EC2 Instance Connect к RDS (да и вообще ко всему внутри VPC) без промежуточной виртуалки.

1️⃣ Обновляем AWS CLI до версии 2.12+

https://docs.aws.amazon.com/cli/latest/userguide/getting-started-version.html

Прямая ссылка для обладателей Windows:
🔗 https://awscli.amazonaws.com/AWSCLIV2-2.12.0.msi

2️⃣ Создаём (если ещё нет) EC2 Instance Connect Endpoint

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/create-ec2-instance-connect-endpoints.html

aws ec2 create-instance-connect-endpoint --region us-east-1 --subnet-id subnet-0123456789abcdef

Меняем --region и --subnet-id на свои значения.

После создание получим InstanceConnectEndpointId.

3️⃣ Присоединяемся к EC2 Instance Connect Endpoint

В официальной документации пока есть только присоединение к EC2 по --instance-id:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/connect-using-eice.html

Однако в AWS CLI перечислены и другие:

https://awscli.amazonaws.com/v2/documentation/api/latest/reference/ec2-instance-connect/open-tunnel.html

Берём айпишник --private-ip-address нашей базы данных плюс её порт --remote-port и коннектимся:

aws ec2-instance-connect open-tunnel --private-ip-address 10.44.33.119 --instance-connect-endpoint-id eice-0123456789abcdef12 --remote-port 5432 --local-port 5432

Меняем --private-ip-address, --instance-connect-endpoint-id (полученное при создании), --remote-port и --local-port на свои значения.

В результате поднимется туннель:

Listening for connections on port 5432.
[1] Accepted new tcp connection, opening websocket tunnel.

4️⃣ Присоединяемся к локальному порту (localhost:5432 из примера выше — картинка ниже чисто для примера) и пользуемся.

Точно работает для адресов из других VPC, присоединённых через VPC Peering, для другого не пробовал — напишите, если (не) получится, как для RDS/Aurora, так и для OpenSearch либо других сервисов.


P.S. Кто читает лишь конец и не работает — обновите AWS CLI!

#EIC
🔥244👍3👏2
Forwarded from AWS Weekly (Max Skutin)
☁️ Issue #76 | 18 June 2023

▪️  AppFlow 4 new data connectors
▪️  Audit Manager 3rd party risk assessments and CSV exports
▪️  Clean Rooms Cloudformation and Analysis Builder
▪️  CloudShell +12 regions
▪️  CloudTrail Lake curated dashboards for visualizing top CloudTrail trends
▪️  CodeGuru Security is now available in preview
▪️  Connect
      ▫️ Contact Lens screen recording
      ▫️ new contact lifecycle events for callbacks
      ▫️ search APIs for three more resources
▪️  Control Tower  +10 Security Hub controls
▪️  Detective extends finding groups to Amazon Inspector
▪️  DynamoDB Database Encryption SDK  | Preview
▪️  EC2 Instance Connect supports SSH and RDP connectivity without public IP address
▪️  EC2 M7a instances | Preview
▪️  ECR Common Vulnerability Scoring System (CVSS) v3 scanning
▪️  Elastic Disaster Recovery VPC configurations recovery
▪️  EMR on EKS container log rotation for Apache Spark
▪️  EMR price-capacity-optimized allocation strategy for EC2 Spot Instances
▪️  Global Accelerator endpoint in Jakarta region
▪️  Global Partner Security Initiative
▪️  GuardDuty enhances console experience with findings summary view
▪️  IAM Identity Center automated user provisioning from Google Workspace
▪️  Inspector
      ▫️ Code Scans for Lambda function | GA
      ▫️ Software Bill of Materials export capability
▪️  Location Service
      ▫️ geofence metadata
      ▫️ place categories
▪️  Marketplace built-in partner software automates installation for customers
▪️  OpenSearch Service skip unavailable clusters during cross-cluster search
▪️  Partner Central Partner Analytics Dashboard
▪️  Payment Cryptography new service
▪️  Personalize VPC endpoints
▪️  RDS for Oracle migration via RMAN Transportable Tablespaces
▪️  Rekognition improves face search accuracy with user vectors
▪️  S3 dual-layer server-side encryption for compliance workloads
▪️  Security Hub
      ▫️ +6 security controls
      ▫️ automation rules
▪️  Step Functions integration with VPC Lattice and other services
▪️  Transfer Family quantum-safe key exchange for SFTP
▪️  Verified Permissions is now generally available
▪️  WAF Fraud Control account creation fraud prevention and reduced pricing
▪️  Well-Architected introduces Profiles
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
​​Graviton 3E c7gn instances for network-intensive workloads:

https://aws.amazon.com/blogs/aws/new-amazon-ec2-c7gn-instances-graviton3e-processors-and-up-to-200-gbps-network-bandwidth/

c6g.medium $0.034
c6gn.medium $0.0432
c7g.medium $0.0363
c7gn.medium $0.0624

#EC2
​​🤖 AWS Docs GPT (unofficial version):

https://www.awsdocsgpt.com/

#AI
Forwarded from AWS Weekly (Max Skutin)
☁️. Issue #77 | 25 Jun 2023

▪️ Amplify UI Builder Figma plugin
▪️ Application Discovery Service  EC2 recommendations
▪️ AppSync SAM AWS::Serverless::GraphQLApi abstraction
▪️ Billing Conductor service-scoped free tier pricing rules
▪️ CloudFormation accelerates dev-test cycle with new ChangeSets parameter
▪️ CloudWatch Internet Monitor +7 Regions
▪️ CloudWatch Logs  new Log Insights dedup command
▪️ Connect reduces toll free rates for Australia and New Zealand
▪️ Control Tower Security Hub integration
▪️ Corretto nightly builds
▪️ EC2
     ▫️ C7gn instances general availability
     ▫️ Hpc7g instances
     ▫️ T4g instances are now available in additional regions
▪️ EC2 Dedicated Hosts targeted allocations in Outposts rack
▪️ EFS  up to 10 GiB/s of Provisioned Throughput
▪️ Elemental MediaConvert bandwidth reduction filter for HEVC and AVC
▪️ EMR insufficient instance capacity errors events
▪️ EMR on EKS custom job scheduling
▪️ ENA Express +10 EC2 Instances
▪️ Glue Studio data previews for Glue Streaming jobs
▪️ Kinesis Data Firehose data stream delivery to Redshift Serverless
▪️ Lake Formation Glue Data Catalog cross-Region table access
▪️ Lambda starting from timestamp for Kafka event sources
▪️ Local Zones in Manila  | GA
▪️ Managed Grafana OpenSearch Trace Analytics
▪️ MemoryDB for Redis FedRAMP Moderate compliance
▪️ MQ  cross-region data replication for ActiveMQ brokers
▪️ Personalize filtering selected items by properties of the input item
▪️ Purchase Order Management Tagging support
▪️ Redshift encrypting the data warehouse
▪️ SageMaker Feature Store feature processing
▪️ SageMaker Inference Recommender model creation recommendation
▪️ Security Hub enhanced management capabilities with CloudFormation
▪️ Step Functions Versions and Aliases
▪️ System Manger OpsCenter simplified cross-account management of operational issues
▪️ Transfer Family
     ▫️ Drummond Group Applicability Statement 2 (AS2) Certification
     ▫️ structured JSON log format
▪️ Trusted Advisor new fault tolerance checks
▪️ Verified Access new logging functionality to improve troubleshooting
▪️ VPC CNI IPv6 Egress for Pods in IPv4 enabled Kubernetes Clusters
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Что такое S3 DSSE-KMS:

https://aws.amazon.com/blogs/aws/new-amazon-s3-dual-layer-server-side-encryption-with-keys-stored-in-aws-key-management-service-dsse-kms/

На текущий момент для S3 объектов доступно 4 типа шифрования:

1️⃣ Server-side encryption with S3 managed keys (SSE-S3)
2️⃣ Server-side encryption with KMS (SSE-KMS)
3️⃣ Server-side encryption with customer-provided encryption keys (SSE-C)
4️⃣ Dual-layer server-side encryption with keys stored in KMS (DSSE-KMS)

Если упростить, то это SSE-S3 + SSE-KMS/SSE-C в одном флаконе. То есть 4️⃣ = 1️⃣ + 2️⃣ или 3️⃣.

Если чуть более подробней, то стоит глянуть официальный ролик «Announcing Amazon S3 dual-layer server-side encryption (DSSE-KMS)»:

https://www.youtube.com/watch?v=VtpyPqYke-w

Где есть табличка сравнения типов.
К сожалению, нужно делать поправку на то, что табличка слишком маркетинговая, нужно будет сделать свою.

Если же есть желание разобраться подробней, то вот первоисточник — Data-at-Rest Capability Package V5.0:

https://www.nsa.gov/Portals/75/documents/resources/everyone/csfc/capability-packages/(U)%20Data-at-Rest%20Capability%20Package%20v5.0.pdf

В котором описано ужесточение требований к шифрованию. В нём, в отличие от документа четвёртой версии, появляется понятие "двухуровновой" защиты:

«Data-at-Rest (DAR) Capability Packages (CP) version 5.0 enables customers to implement two independent layers of encryption for the purpose of providing protection for stored information on the End User Device or DAR protected system, while in a powered off or unauthenticated state.
This CP takes lessons learned from proof-of-concept demonstrations that have implemented the Commercial National Security Algorithm Suite, modes of operation, standards, and protocols.
These demonstrations included a layered use of Commercial Off-the-Shelf products for the protection of classified information.»

Из которого следует, что одного слоя шифрования теперь недостаточно. То есть нельзя просто зашифровать весь диск/раздел/файл криптостойким алгоритмом. Нужно реализовать такой подход дважды (и обязательно с разными кредами).

Если сравнивать это с ноутбуком, то требуется иметь шифрованный диск и вводить пароль при старте компьютера. А после при доступу к нужному файлу/диску ещё раз вводить (другой) пароль.

SSE-S3 в этом сравнении — AWS за нас каждый раз вводил такой пароль "при старте компьютера". Это, так называемое, "шифрование для галочки", которое лишь защищает от того, что накопители враги вдруг выкрадут из датацентра, а там всё зашифровано. В терминах DAR CP v.5 это "outer layer" — внешний уровень защиты.

SSE-KMS или SSE-C при таком раскладе это внутренний уровень защиты ("inner layer").

Раньше можно было включить или SSE-S3 (который нонче по дефолту) или SSE-KMS/SSE-C. А с помощью DSSE-KMS включаются и работают (под капотом) сразу два уровня — все объекты шифруются дважды.

Предположу, что из-за двойного шифрования скорость работы может снизиться, пока не видел упоминания про влияние на скорость работы.

По стоимости DSSE-KMS получается дороже, чем SSE-KMS/SSE-C, так как S3 bucket keys (кэширование KMS ключей на уровне S3 бакета) для этого типа недоступно (как минимум, пока).

#S3 #security
👍7
Forwarded from Nurbek Sadykov
Media is too big
VIEW IN TELEGRAM
Мы рады сообщить, что все доклады с AWS Security Day были выложены на YouTube-канале AWS на русском. Вы можете просмотреть их, перейдя по ссылке:

☁️ Hybrid Architectures for Personal Data Compliance
Святослав Редько, AWS Senior Solutions Architect
Дана Есентай, Senior Consultant, KPMG | Certified Data Privacy Solutions Engineer

☁️ Layering AWS security services to automate incident response
Игорь Иванюк, AWS Principal Solutions Architect

☁️ How we make AWS Secure
Игорь Шарфмессер, Senior Solution Architect, AWS

☁️ Панельная сессия с экспертами KPMG, AWS, КИБ МЦРИАП РК, qCloudy
Модератор Ринат Узбеков, Principal Account Manager AWS ISV Global/AWS Kazakhstan Country Sales Lead

☁️ Настройка безопасной инфраструктуры для Kubernetes. On-premise vs AWS
Артем Прима, Developer Advocate, qCloudy

☁️ Демонстрация "Governance with AWS Control Tower"
Михаил Голубев, AWS Principal Solutions Architect

Также, мы подготовили фотоотчет с мероприятия, чтобы вы могли пережить воспоминания и поделиться ими с коллегами. Фотографии доступны по ссылке.

Спасибо, что присоединились к нам на AWS Security Day, и надеемся, что материалы помогут вам еще глубже разобраться в вопросах безопасности в облаке AWS.

Отдельное спасибо нашим медиа-партнерам @we_project @kz_bi @thetechkz и всем, кто помогал в распространении информации об ивенте.

🔥 Подписывайтесь @cloudnativekz
☁️ Подписывайтесь @aws_kz
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥83👍3
EC2 Instance Connect — халява закончилась

Две недели порадовались и хватит. AWS ограничила использование EC2 Instance Connect лишь портами SSH/RDP и теперь при попытке присоединиться к RDS или другим ресурсам, получаем ошибку:

"The specified RemotePort is not valid. Specify either 22 or 3389 as the RemotePort and retry your request."

То есть они теперь проверяют параметр --remote-port и если он не 22 или 3389, то отбой.

Что ж, очень жаль, будем искать.

P.S. SSM Session Manager снова/всегда рулит. 😁

#EC2_Instance_Connect
😐3👌2🤣1
​​Multi-Layered Security.

#friday
🤣47🤮1🤡1