После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач.
Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали:
- Что такое MLOps?
- Из каких фаз строиться MLOps - какие шаги включены в CI/CD.
- Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте.
- Как реализовать MLOps в AWS.
- MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок.
#podcast
Послушать можно тут:
Anchor
Yandex
GooglePodcasts
ApplePodcasts
Spotify

​​A year ago, AWS acquired the world's most secure messenger, Wickr.

And now another product — AWS Wickr: 🎉

https://aws.amazon.com/wickr/

AWS Wickr encrypts every message, call, and file with a proprietary, 256-bit end-to-end encryption (E2EE) protocol. No one but intended recipients can decrypt them, reducing the risk of person-in-the-middle (PitM) attacks.

#Wickr

​​AWS SSO переименовали в AWS IAM Identity Center, теперь это часть IAM сервиса.

https://aws.amazon.com/iam/identity-center/

IAM Identity Center helps you securely create, or connect, your workforce identities and manage their access centrally across AWS accounts and applications. IAM Identity Center is the recommended approach for workforce authentication and authorization in AWS, for organizations of any size and type. 

Демо-видео:

https://www.youtube.com/watch?v=4yJp5-jGGNk

AWS SSO стал реально крутым и обязательным для использования сервисом, реализующим правильный подход к безопасности и получивший достаточный набор функционала, ранее присутстсвующий лишь в платных решениях.

Теперь же его инкарнация в виде IAM Identity Center предполагает в том числе продвижение #multi_account_strategy, становясь главным инструментом для входа через user portal.

p.s. Передаю пламенный привет создателям и студентам курсов по AWS сертификации - кому-то переделывать, а кому-то переучивать. 😁

#SSO #IAM

​​A very useful set of ready-made instructions for devops on AWS:

https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/welcome.html

All popular topics with specific implementation steps:

🔸Analytics
🔸Cloud-native
🔸Containers & microservices
🔸Cost management
🔸Data lakes
🔸Databases
🔸DevOps
🔸End-user computing
🔸Hybrid cloud
🔸Infrastructure
🔸IoT
🔸Machine learning & AI
🔸Management & governance
🔸Messaging & communications
🔸Migration
🔸Modernization
🔸Networking
🔸Operating systems
🔸Operations
🔸Security, identity, compliance
🔸Serverless
🔸Software development & testing
🔸Storage & backup
🔸Websites & web apps

#devops

О, @igorsoroka - тебя по телевизору в AWS Blogs показывают: 😁

https://aws.amazon.com/blogs/training-and-certification/how-a-mechanical-engineer-gained-cloud-skills-to-become-his-own-boss/

Кому интересно, то повторить путь Игоря к успеху просто:

1️⃣ Заведите себе свой блог или Телеграм-канал.
2️⃣ Сдайте на любую AWS сертификацию (а можно сразу на 6 как у Игоря или даже 8, как у @mykola7799 😀).
3️⃣ Пишите по любой интересной вам AWS теме и подайтесь в AWS Community Builders program.
4️⃣ И всё получится! 👍

#AWS_Certification

Вчерашние (2022-07-28) проблемы AWS в Ohio:

https://twitter.com/StatusAws/status/1552762806251970560

Упали 38 сервисов в результате отключения электричества в датацентре одной USE2-AZ1. В моём случае виртуалки без автоскелинга лежали порядка 20 минут.

#AWS_Status

Кстати, сегодня начинается чистка во Франкфурте 😀:

Some users of this account haven't used AWS CloudShell for over 110 days in the eu-central-1 Region. On July 29, 2022 we're scheduled to delete the CloudShell home directory and data of inactive users in the eu-central-1 Region.

Также полезно на будущее знать, что халявный CloudShell, имеющей постоянный диск на гиг, если им долго не пользоваться - превращается во временный. 😁

If you stop using AWS CloudShell in an AWS Region, data is retained in the persistent storage of that Region for 120 days after the end of your last session.

#CloudShell

​​AWS Observability — One Observability Workshop:

https://catalog.workshops.aws/observability/en-US

🔸Amazon Managed Grafana
🔸Amazon Managed Service for Prometheus
🔸AWS Distro for OpenTelemetryAnomaly Detection
🔸AWS X-Ray
🔸CloudWatch Alarms
🔸CloudWatch Dashboards
🔸CloudWatch Evidently
🔸CloudWatch Metrics
🔸CloudWatch RUM
🔸CloudWatch ServiceLens Map
🔸CloudWatch Synthetics
🔸Container Insights
🔸Contributor Insights
🔸Embedded Metric Format
🔸Lambda Insights
🔸Logs Insights

#observabilty #workshop

Новый выпуск подкаста!

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Aleksandr Patrushev (Solutions Architect, AWS) и Rostyslav Myronenko (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков.

- Какие лиги есть в DeepRacer?
- Как правильно натренировать вашу модель?
- Как именно освоение DeepRacer может впоследствии помочь на проекте?
#podcast
Послушать можно тут:
Anchor
Yandex
GooglePodcasts
ApplePodcasts
Spotify

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации.
#podcast
Послушать можно тут:
Anchor
Yandex
GooglePodcasts
ApplePodcasts
Spotify

Если есть желание прийти в гости и рассказать вашу историю с проекта, или поделиться опытом (не только на подкаст) пишите в личку буду рад обсудить.

​Good documentation is foundational for implementing DevOps capabilities - State of DevOps says.

But writing good docs is hard... and what can you do, except hire a Tech writer?
Cry Try to write docs better.

Here are free technical writing courses by Google (and quick recap). I drive "good docs culture" (that happened historically) in my current job and find these courses really helpful in describing to teammates how docs should look.

Also, I found that already exist documentation style guides by Google and Microsoft so you don't need entirely reinvent the wheel, just a little part of it ;)

On the other hand, these style guides look very complicated, so to not be overwhelmed, just start from these highlights.

And if you need, more technical writing resources and reasons why docs should be and should be good - here.

P.S. Don't repeat my mistake - take these courses before start writing and reviewing docs on a regular basis, not in ~2 years after.

#documentation #culture

Несколько месяцев как учу студентов AWS DevOps. С нуля, то есть совсем — абсолютно без опыта, да ещё и без желания учиться. 😀

Какие выводы сделал для себя, перелопатив кучи материалов, просмотрев сотни часов видео, курсов на бесплатных и платных платформах.

🔸 У новичков (кто реально с нуля) шансов найти что-то адекватное по столь популярной теме DevOps (специфика AWS уже вторично):

▪️ из бесплатного-доступного — шансов 0-5%
▪️ из платного — 10-15%

🔸 Научить с полного нуля можно кого угодно — опыт, прошлое образование, пол не имеют значения — это факт.

🔸 Рулят у студентов не способности, интеллект и прочие "этому дано", а самоконтроль и целеустремлённость.

🔸 Вариант самообразования — любые курсы платные/бесплатные и т.п. — подходят лишь ~15%. Остальные 85% без самоконтроля и вдолгую, в результате просто оставят негативные комментарии о желающих лишь заработать на них преподавателях, школах, курсах, академиях и т.д. Причём тоже будут правы и примерно с тем же раскладом.


Преподавательского опыта не было совсем, вышеописанные оценки сделаны больше со стороны студентов, к которым и отношу и себя, лишь с поправкой "с опытом".

#devops #курсы

​​Kubernetes 1.23 для EKS

https://aws.amazon.com/blogs/containers/amazon-eks-now-supports-kubernetes-1-23/

Спустя официального релиза 1.23 прошло 8 месяцев, то есть задержка такая же, как и для предыдущей версии. Сделанный в прошлый раз прогноз на эту версию был весьма точным — ошибся на 4 дня.

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html#kubernetes-1.23

Отставание по версиям не радует, т.к. уже три месяца назад вышла версия 1.24. 😐 В качестве прогноза этой версии на AWS поставлю на 5 декабря.

Отдельно стоит отметить, что поддержка версии EKS 1.19 будет прекращена уже совсем скоро — 26 августа.

#EKS

В продолжение темы по обучению AWS DevOps совсем начинающих зафиксирую для себя некоторые выводы по материалу и инструментам.

▪️ Пожалел, что давал сначала Linux и спустя некоторое время добавил сети. Для совсем нулей нужно начинать сразу и то и то, либо даже сначала лишь сети.

▪️ Был прав, что практически с самого начала стал давать Terraform (@ThomasStorm, сначала кратко, но был CloudFormation, чеслово! 😀) — даже без понимания основ, привычка у студентов мыслить и действовать в рамках IaC рулит.

▪️ С первого урока использовал CloudShell как базовый инструмент.
➕ Плюсы: CloudShell — лучший способ сразу подружиться и с AWS Console, и с Linux, и с AWS CLI/Terraform/CDK.
➖ Минусы — привыкают и всё делают через CloudShell, у которого есть некоторые ограничения по сравнению с обычными виртуалками.

▪️ Linux учили на RedHat, чтобы после было легче освоить Amazon Linux. Получилось проще, да, но можно-нужно сразу давать Amazon Linux.

▪️ Cети по курсам подготовки к CCNA — вне конкуренции, лишь нужно отсеивать вещи чисто по Cisco.

▪️ Адекватной информации на русском мало, но студенты однозначно предпочитают материал на родном, даже имея английский на intermediate уровне.

▪️ Адекватной информации на русском мало, но по некоторым темам она таки есть и местами даже самая лучшая.

▪️ Материалы на английском необходимо отбирать по произношению — нэйтив спикеры чаще хуже для понимания, нежели материал от не носителей языка.

▪️ Чем больше в курсе анимации, тем обычно он качественнее и круче.

Потому лайфхак для тех, кто выбирает платные курсы — смотрите, сколько там мультиков. Именно мультиков, то бишь анимации (причём не спецэффектов и не видео) — значит автор вложился и это точно будет круто, если вы как раз с нуля.

#devops

Мы решили попробовать новый формат в AWS Minsk Community - и первый наш ивент будет о DevOps. Присоединяйтесь - наиболее активных комментаторов ждут призы!


Компании активно внедряют практики, нанимают DevOps инженеров, рейзят рейты до небес.
Но за фасадом тренда остаётся ощущение, что индустрия не до конца разобралась с тем, что вообще такое DevOps, какое место занимает в разработке и какие цели преследует.

📌 17 августа в 19:00 GMT (+3) встречаемся с экспертами, практикующими DevOps инженерами онлайн, чтобы разобраться:

• Все ли понимают, что такое DevOps?
• DevOps практики - это обслуживание разработки или часть разработки? Так ли это, что если у вас есть DevOps - инженер(команда) - у вас нет DevOps?
• Создание платформы - это внутренний аутсорсинг или как внутренний продукт?
• Связь между практиками DevOps и архитектурными решениями. Почему чаще всего в облачных платформах используются только контейнеры и виртуальные машины?
• Так ли страшен вендор-лок как его малюют? Сравнение облачного вендор-лока с внутренним вендор-локом на собственной архитектуре - что хуже? Плюсы и минусы использования различных сервисов в клаудах.
• Попробуем вместе определить идеальный SRE/DevOps в компании. Практики, организационная структура, аспекты.

Инфопартнеры дискуссии компании OnTheSpot и Intergiro.

🔥 Гости дискуссии:

- Виктор Ведмич, Developer Advocate, AWS
- Ганна Новикова, Senior DevOps Engineer, Intergiro
- Роман Воронин, AWS Сommunity builder, Cloud/Solutions Acrhitect, PandaDoc
- Виктор Николаев, Senior Solutions Engineer, Opsfleet

✅ Добавляйте ивент в календарь , в описании прикреплена ссылка на трансляцию.

Календарь: https://bit.ly/3bRS9DL

Трансляция: https://www.youtube.com/watch?v=Yw3Xh4a6JRw

AWS Weekly от Максима Скутина:

https://awsweekly.info/

Мои еженедельные итоги некоторое уже время лежат недоделанными — были некоторые планы на смену формата, но занятость плюс лето съели всё отсутствующее время. 🙂

Потому стоит воспользоваться — отличный вариант быть в курсе новостей по AWS и спасибо @makseemq.

AWS DevOps для совсем начинающих

Вы почему-то решили (захотели, пришлось) стать девопсом. Не я вам судья 😀, но могу рассказать про Top10, что нужно изучить.

1️⃣ Networking
2️⃣ Linux
3️⃣ Git
4️⃣ Bash
5️⃣ Python или/плюс другой язык
6️⃣ IaC — Terraform или/плюс AWS CDK/CloudFormation
7️⃣ Containers — Docker и после Kubernetes
8️⃣ CI/CD — Jenkins или другие CI инструменты
9️⃣ Архитектура и подходы к проектированию
🔟 Agile и процессы в организации

Другие вещи — базы данных, безопасность и прочие обязательные для DevOps элементы также подразумеваются, но думаю, что и этих 10 достаточно, чтобы испугаться и передумать. 😁

В любом случае поделюсь опытом по подбору материала для новичков. Не знаю как такое подойдёт именно для самостоятельного изучения, ибо искал именно материал на основе которого можно научить, то бишь предполагается фильтрация и разъяснение. Очень редкие вещи в чистом виде можно дать на изучение — реально лишнее отбивает желание учиться, т.к. реально непонятно даже продвинутому, а новички-то думают, что это они тормоза и не могут знать, что это авторы курсов несут какую-то дичь.

1. Networking

Сети, если не было опыта и нет понимания — номер один в этом списке. После уже Linux и остальные. Нумерация выше была условная, но сети и линуксы — выделяются как реально главное. И то, с чего нужно начинать.

Что читать-смотреть-изучать по сетям. Рекомендую начать с ICND1 — начальная часть подготовки к Cisco сертификации CCNA. Это не для того, чтобы бегать с бухтой по офису с кусачками в руках. Это потому что у Cisco давно отработанный процесс обучения с нуля обслуживанию их сложной техники и нам как раз подойдёт начальная часть, где лишь потребуется выкинуть чисто Cisco специфику типа настройки их конкретных маршрутизаторов, ОС и других специфичных вещей.

Например, использовал следующий список курсов:

▪️ Cisco CCNA / ICND1 (100-105) Complete Course: Sims and GNS3 - Part 1
▫️ https://learning.oreilly.com/videos/cisco-ccna/9781838646028/

С этого отлично начать совсем нулям в сетях — здесь не бьют сходу наотмашь сразу всеми семью "осями" 😀 прямо на первом же уроке. Лёгкие и понятные мультики вводят в курс.

Правда после автор, наверняка не любивший математику, предлагает свою особую методологию исчисления подсетей, а нам такая специфика вообще незачем, потому это правильно пропустить.

Альтернативный вариант, где как раз классически сразу берут быка за OSI:

▪️ CCENT ICND1 100-105
▫️ https://www.oreilly.com/videos/ccent-icnd1-100-105/9780134664330/

Конечно, есть кучи других способов разобраться с сетями, в том числе на русском, например:

▪️ Сети для самых маленьких.
▫️ https://linkmeup.ru/blog/1188/

На самом деле название слишком громкое и тут снова сходу OSI в полный рост со всей братией. Если это не пугает — можно попробовать.

Есть также кучи отдельных видео от реально талантливых людей, но так, чтобы полноценный курс, по которому можно спрашивать и объяснять, при этом не академический и убийственный для новичков — не шибко много нашёл. Буду признателен, если подскажете бесплатные и доступные к просмотру варианты. При этом легальные, например, видео с O'Reilly доступно в РБ/РФ и можно посмотреть бесплатно некоторое время, чтобы понять, подойдёт тебе этот курс или нет.

#devops #начинающим