​​Кто пропустил (например, я 😀 ) — сегодняшнее обсуждение нового AWS по части ML на Твиче:

https://www.twitch.tv/videos/830984232?t=0h5m47s

Полезно и для знающих, и для лишь интересующихся.

Бесплатные T4g micro инстансы на Graviton 2 продлены на три месяца:

December 10, 2020 – Post updated for the extension of the T4g free-trial until March 31, 2021.

https://aws.amazon.com/blogs/aws/new-t4g-instances-burstable-performance-powered-by-aws-graviton2/

Бесплатные T4g виртуалки доступны всем — и старым аккаунтам, и новым, в том числе для Free Tier:

During the free-trial period, customers who run a t4g.micro instance will automatically get 750 free hours per month deducted from their bill during each month. T4g free-trial will be available in addition to the existing AWS Free-Tier on t2.micro/t3.micro. Customers who have exhausted their t2.micro (or t3.micro, depending on the region) free-tier usage can still benefit from T4g free-trial.

Два года назад появился AWS Graviton, год назад AWS Graviton 2, в этом году Apple M1, в будущем обещают Apple M2 с 32 ядрами — пора попробовать и переходить на ARM!

🔸"I took a first pass at mapping out how AWS security services all connect to one another and where to categorize them. Given all the cycles, PowerPoint was a poor choice given the minimal edge flexibility."

https://twitter.com/0xdabbad00/status/1336494125617541120

#aws

​​VPC Reachability Analyzer:

https://aws.amazon.com/blogs/aws/new-vpc-insights-analyzes-reachability-and-visibility-in-vpcs/

Позволяет проверить доступность между различными элементами в одной или разных VPC. В простом случае – между двумя виртуалками (на картинке).

Может быть хорошим инструментом для быстрого поиска причин недоступности — чтобы найти и визуально показать забытые NACL или отвалившийся пиринг.

#VPC

Amplify + Docker:

https://aws.amazon.com/blogs/mobile/zero-effort-container-deployment-for-graphql-and-rest-apis-and-web-hosting-with-amplify-cli/

Теперь в проект можно добавлять свои Dockerfile или docker-compose.yml файлы, которые будут задеплоены с помощью Amplify CLI привычным способом.

#Amplify

GRE на AWS:

https://docs.aws.amazon.com/vpc/latest/tgw/tgw-connect.html#create-tgw-connect-peer

#Transit_Gateway

​​Мульти-поточная Лямбда с шестью процессорами — возможность кратно сэкономить:

https://www.sentiatechblog.com/aws-re-invent-2020-day-3-optimizing-lambda-cost-with-multi-threading

Если переписать приложение/функцию на возможность работы в многопоточном режиме, то увеличив мощность используемых Лямбд и получив на выходе некоторое повышение стоимости, при этом имеем серьёзное увеличение производительности за счёт параллелизации.

#Lambda

Forwarded from Alexander Patrushev
Amazon EMR - отличный севис для запуска приложений для анализа больших объемов данных на таких фреймворках, как Apache Spark, Hive, HBase, Flink, Hudi и Presto.

В настоящее время заказчики консолидируют вычислительные ресурсы, используя Kubernetes.
Тут должна быть какая то связь!!! Рад представить вам новую статью от AWS RU команды о новой возможности запускать Amazon EMR на Amazon EKS. 

https://aws.amazon.com/ru/blogs/rus/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/

AWS посиделки (2)
Тема: FSx for Lustre Dive Deep
Когда: Понедельник 21 декабря 17:00-18:00 MSK
Где: https://chime.aws/1448024238
Meeting ID: 1448 02 4238
Как присоединиться: Download Amazon Chime at https://aws.amazon.com/chime/download

​​Обзор re:Invent 2020 — сети и контейнеры

Получился очень объёмный и информативный обзор, настоятельно рекомендую посмотреть:

https://www.twitch.tv/videos/833386109

Для простоты далее:
слева ссылка на время обсуждения фичи на Твиче 🔹 справа ссылка на официальный анонс (плюс комментарии)

минута 🔹 фича

03 🔹 Новые performance metrics для EC2

07 🔹 VPC Recheability Analyser

13 🔹 Global Accelerator Custom Routing

Ссылка, упомянутая при обсуждении GA — https://speedtest.globalaccelerator.aws
Также добавлю по Custom Routing, что наряду с гейм-серверами, второй большой сектор, осчастливленный выходом этой фичи - это VoIP. А в моём понимание, он даже первый. 😀

18 🔹 IGMP мультикаст в Transit Gateway

20 🔹 GRE в Transit Gateway Connect

23 🔹 Публичный ECR и его кросс-регионная репликация

Добавлю по репликации ECR, что она может быть двусторонняя (настроив один аккаунт-регион на другой) и, к сожалению, реплицирует весь регион, то есть все репозитории в нём, а не выборочные. ☹️
Также ссылочка на фичреквест по кэшированию ECR - дружно ставим палец вверх:
https://github.com/aws/containers-roadmap/issues/939

35 🔹 ECS Anywhere

45 🔹 EKS Anywhere

58 🔹 EKS addons

63 🔹 Слухи-скандалы-сенсации

69 🔹 EMR на EKS

#reInvent

Spot Blueprints:

https://aws.amazon.com/blogs/compute/introducing-spot-blueprints-a-template-generator-for-frameworks-like-kubernetes-and-apache-spark/

#Spot

Итоги второй недели AWS re:Invent 2020

Новые сервисы:
• Amazon HealthLake (ML)
• Amazon Lookout for Metrics (ML)
• Amazon Neptune ML (ML)
• Amazon Redshift ML (ML)
• Amazon SageMaker Clarify (ML)
• Amazon SageMaker Debugger (ML)
• Amazon SageMaker Distributed Training (ML)
• Amazon SageMaker Edge Manager (ML)
• Amazon SageMaker JumpStart (ML)
• AWS Audit Manager

Новые фичи Amazon Redshift:
• Data Sharing
• Automatic Table Optimization
• JSON and semi-structured data
• Простое перемещение между AZ-подзонами
• RDS/Aurora MySQL as data sources
• Дешёвые RA3.xlplus 4vCPU/32GB + 32TB 💰
• Нативная интеграция с Google Analytics, Facebook Ads и др.

Новые фичи по сетям:
• Amazon VPC Reachability Analyzer 👍
• AWS Global Accelerator Custom Routing
• AWS Transit Gateway Connect (GRE)
• AWS Transit Gateway IGMP Multicast
• EC2 performance metrics

Другое:
• Amazon ECR cross-region replication 👍
• EMR на EKS

===

Обзоры новинок второй недели на Твиче AWSPoRusski:
➡️ Machine Learning (ML)
➡️ Контейнеры и сети

#reInvent

Утилита для работы в мульти-аккаунтной среде от Netflix:

https://github.com/Netflix/consoleme

#multi_account_strategy

У Google проблемы:

https://www.google.com/appsstatus

Новый Амазон сервис... вообще, да, возможно и сервис, но не AWS:

https://www.bloomberg.com/news/articles/2020-12-14/amazon-s-zoox-unveils-robotaxi-for-future-ride-hailing-service

4-х местная самодвижущаяся повозка со встроенным кучером и юсби-зарядкой.

​​Чем отличается вторая версия aws-cli от первой, так это включенным по умолчанию pager-ом, из-за которого приходится нажимать клавиши, чтобы увидеть весь вывод на экран, если он большой.

Чтобы исправить это раздражающее поведение в aws-cli v2, то можно добавить строчку export AWS_PAGER="" в автозагрузку:

https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-output.html#cli-usage-output-pager

#aws_cli

​​Поиск в консоли теперь, наконец-то, теперь можно называть этим словом:

https://aws.amazon.com/about-aws/whats-new/2020/12/announcing-unified-search-aws-management-console/

Мои контрольные слова es, acm, ram и некоторые другие, которые годы до этого были просто издевательством над здравым смыслом — ищет (показывает на первой позиции). У кого что не нашлось — пишите в комментариях.

#AWS_Console

Оптовый импорт пользователей в AWS SSO:

https://aws.amazon.com/blogs/security/how-to-bulk-import-users-and-groups-from-csv-into-aws-sso/

#SSO