⚡️ Исследование: Облачные технологии и DevOps в России 2023

Недавно мы делились с вами зарубежными опросами GitLab в 2022 и 2023 году, а сегодня хотим обратить внимание на некоторые выводы из российского исследования State of DevOps Russia 2023, которое на днях презентовали коллеги по рынку из Экспресс 42, Yandex Cloud и Флант. По данным этого опроса:

72% респондентов так или иначе используют облако: 22% используют одно облако, почти 19% – мультиклаудный режим, 31% – гибридную модель (on-prem + cloud). То есть большая часть полагается на отказоустойчивые решения в виде гибридной системы, что особенно популярно в финансовом секторе.

Отмечается активный рост управляемых Kubernetes сервисов в облаке, в том числе среди крупного бизнеса. Большие российские компании выносят в облако свои среды разработки (DEV, STAGE-окружения), и Kubernetes хорошо работает c точки зрения скорости развертывания динамических сред.

Растет потребность в PaaS-решениях, а IaaS – наоборот, снижается. Наиболее популярные PaaS-решения – это управляемые базы данных (46,5%), управляемые оркестраторы (45%) и CI/CD-сервисы (GitLab) (26%).

Какие преимущества облаков важны клиентам облачных провайдеров? Самыми популярными ответами оказались:
- соответствие требованиям регулятора в части хранения и обработки персональных данных,
- повышение прозрачности расходов на ИТ-инфраструктуру (FinOps),
- возможность сокращения расходов на ИТ-персонал.

Наиболее актуальные задачи в облаке:
- хостинг веб-приложений (размещение веб-сервисов),
- обеспечение отказоустойчивости,
- оркестрация и управление контейнерными кластерами,
- работа с данными и средствами аналитики.

Таким образом, коллеги отметили, что российский облачный рынок становится более зрелым, и пользователи все чаще и чаще выбирают облака для решения своих бизнес-задач.

#аналитика

💲 Как FinOps повышает рентабельность бизнеса в облаке

Вячеслав Бессонов, CEO Hilbert Team, рассказал #РБК о том, что такое методология #FinOps, и как она помогает оптимизировать использование облачной инфраструктуры, тем самым повышая рентабельность бизнеса в целом.

Из статьи вы узнаете:
🟢Почему бизнесу важно контролировать расходы на облако,
🟢Как возник FinOps и перспективы его развития в России,
🟢Какие существуют инструменты и подходы к оптимизации в FinOps,
🟢С какими сложностями вы можете столкнуться при внедрении данного подхода.

➡️ Подробнее читайте на РБК

#статьи

Где почитать, посмотреть и послушать про FinOps?

Если вы интересуетесь вопросом оптимизации затрат на облако и хотите глубже погрузиться в практику FinOps, то рекомендуем обратить внимание на следующие ресурсы:

📚Книги

Cloud FinOps: Collaborative, Real-Time Cloud Financial Management (2019) — лучшая из всех книг по FinOps, советуем начать изучение темы именно с нее. Вы узнаете, как начать работу с FinOps или усовершенствовать свой текущий подход.

FinOps Handbook for Microsoft Azure (2023) — подробное руководство по оптимизации расходов в облаке Microsoft Azure.

💻 Блоги

FinOps in Practice – обширная база знаний о FinOps от платформы Хайстекс Оптскейл.
Блог Cloud Zero – содержит много хороших статей по конкретным темам, связанным с FinOps и DevOps.
FinOps Foundation – некоммерческая организация, созданная с целью распространения знаний и передового опыта по FinOps.
Лаборатория FinOps – русскоязычное сообщество FinOps-экспертов.

🎞 Видео и подкасты

FinOps-нирвана: как зарабатывать деньги в облаке – доклад CEO Hilbert Team на DevOps Conf.
Реализация FinOps-практик в облаках. Облака, бюджеты и Serverless — выступление Developer Advocate Yandex Cloud Антона Черноусова.
FinOpsPod — англоязычный подкаст по FinOps.
YouTube канал FinOps Foundation — более сотни полезных видео по данной теме.

#подборка_материалов

Безопасность в Yandex Cloud

Обеспечить информационную безопасность можно не только в своей on-premise инфраструктуре в закрытом ЦОДе, но и в облаке.

Например, коллеги из Yandex Cloud разработали стандарт по защите облачной инфраструктуры, а также собрали в публичном репозитории на GitHub целую библиотеку решений по внедрению инструментов безопасности в ваше облако на основе опыта и реальных задач от клиентов.

В библиотеке есть решения:
✔️ по использованию NGFW Checkpoint для обеспечения сетевой безопасности облачной инфраструктуры;
✔️ по настройке федеративного доступа в Yandex Cloud c помощью Keycloak;
✔️ по интеграции LDAP для аутентификации пользователей;
✔️ по управлению уязвимостями и другие.

Данная библиотека также содержит референсную архитектуру облачной инфраструктуры, разработанную архитекторами Yandex Cloud, которую вы можете изучить и определить степень соответствия вашей инфраструктуры рекомендациям экспертов.

#инструменты

Cоветы по миграции в облако

За последние 3 года наша команда реализовала более 100 миграций в облака, в новой статье на VC мы собрали рекомендации для заказчиков на каждом из этапов #миграции:

⏺ При выборе облачного провайдера обращайте внимание на уровень надежности дата-центров (Tier 3 и выше), соответствие требованиям регуляторов и доступный набор PaaS-сервисов.
⏺ Проведите инвентаризацию текущей инфраструктуры в рамках подготовки к миграции. Это сэкономит вам и деньги, и время в будущем.
⏺ Правильно спроектируйте целевую облачную архитектуру с учетом ваших бизнес-целей и набора сервисов, который предоставляет выбранный вами провайдер.
⏺ Рассчитайте TCO облачной инфраструктуры и изменение этого показателя со временем.
⏺ Изучите вопрос управления расходами на облачную инфраструктуру (FinOps-подход).
⏺ Составьте календарный план миграции с учетом всех необходимых этапов тестирования.
⏺ Не забудьте заложить в план разработку эксплуатационной документации.
⏺ Организуйте дополнительное обучение сотрудников, которые будут работать с облаком.

🔵 Подробнее читайте на VC

#статьи

Дайджест полезных материалов

Делимся с вами подборкой наших материалов по миграции в облако, управлению затратами на облако и безопасности.

✅ МИГРАЦИЯ В ОБЛАКО
Статья с рекомендациями по миграции в облако от CEO Hilbert Team.
Кейс по миграции в облако сервиса для получения банковских гарантий «Держава Онлайн».

✅ УПРАВЛЕНИЕ ЗАТРАТАМИ В ОБЛАКЕ
Статья о том, как методология FinOps помогает оптимизировать облачные расходы и повысить рентабельность бизнеса в облаке.
Подборка различных полезных ресурсов по FinOps.

✅БЕЗОПАСНОСТЬ В ОБЛАКЕ
Статья о том, как построить DevSecOps-пайплайн на Open Source-инструментах.
Видео доклада на тему DevSecOps с конференции AppSecFest (нужен VPN в РФ).
Бесплатный курс «DevSecOps в облачном CI/CD», где вы можете потренироваться самостоятельно строить DevSecOps-пайплайн.
Бесплатный курс «Аутентификация и управление доступами», где вы научитесь создавать максимально защищенную облачную инфраструктуру.

#подборка_материалов

❗️Совет по оптимизации в облаке

Относительно простой способ начать оптимизировать расходы на облако и максимизировать эффект модели Pay As You Go (оплата по мере потребления) – это сократить расходы в моменты низкой активности вашей инфраструктуры. Например, в выходные дни или ночью.

Чтобы оптимизировать затраты, нужно начать со сбора хорошей статистики. Для анализа ваших текущих расходов и просмотра подробной детализации в Yandex Cloud вы можете воспользоваться дашбордом в DataLens.

Как именно настроить оптимизацию:
– Если вы используете группы виртуальных машин или оркестраторы, то можете настроить автоматическое масштабирование;
– Если ваша инфраструктура статическая, то вы можете использовать специальные инструменты для выключения отдельных инфраструктурных компонентов по заданному расписанию. Например, в Yandex Cloud для остановки ВМ, когда в них нет необходимости, есть приложения VM Watchdog и VM Folder Watchdog, о которых мы недавно рассказывали.

Таким образом вы сможете повысить эффективность вашей инфраструктуры и оптимизировать облачные расходы.

#экспертиза

🔩 Тренд на дата-инжиниринг

Интерес к дата-инжинирингу (Data Engineering) вырос за год на 35% по данным ORelly, сейчас это одна из самых быстрорастущих областей ИТ-отрасли.

👨‍💻 Дата-инженеры занимаются построением и обслуживанием инфраструктуры для сбора, хранения и обработки данных. Это включает в себя задачи по построению корпоративных хранилищ и озер данных, создание ETL/ELT-пайплайнов для сбора, преобразования и загрузки данных, а также их анализа.

Далее рассмотрим тенденции в сфере дата-инжиниринга ⬇️

#экспертиза

Тенденции дата-инжиниринга 2023

1️⃣Миграция в облака
Облачные платформы становятся основой для обработки, хранения и анализа больших объемов данных из-за масштабируемости и наличия специализированных сервисов. По прогнозам Google к 2027 году более 50% всех предприятий перейдут в облако.

2️⃣ Real-time обработка данных
С развитием сферы облачных вычислений и ростом объемов данных возросла необходимость в оперативных инсайтах. Обработка данных в real-time режиме позволяет быстро реагировать на изменения, выявлять паттерны и принимать обоснованные решения.

3️⃣ DataOps и MLOps
Это методологии, направленные на автоматизацию и улучшение процессов сбора, обработки и анализа данных. DataOps (DevOps + Data Science) стремится организовать непрерывную поставку качественных данных, MLOps (DevOps + Machine Learning) – эффективно разрабатывать, развертывать и обслуживать ML-модели.

4️⃣ Data Lakehouse
Data Lakehouse — новая гибридная технология, которая использует лучшее из хранилищ (Data Warehouse) и озёр данных (Data Lake). Технология стала возможна благодаря новому дизайну системы: реализации структур данных и функций управления данными, аналогичных тем, которые используются в хранилище данных, непосредственно поверх недорогого облачного хранилища в открытых форматах. Основное преимущество – возможность хранения структурированных и неструктурированных данных, возможность практически безграничного масштабирования и относительно низкая стоимость.

5️⃣Big Data и IoT
Говоря о тенденциях индустрии обработки данных, нельзя пройти мимо Интернета вещей (IoT), который бурно развивается и влияет на область инжиниринга данных. Устройства IoT собирают большие объемы неструктурированных данных, которые можно эффективно обрабатывать в режиме реального времени, используя различные подходы.

6️⃣ Data Governance
Последняя тенденция, которую мы хотели бы сегодня осветить — Data Governance — целостная стратегия управления корпоративными данными. Данная стратегия включает в себя:
● создание единого каталога метаданных, описывающих все источники организации (например, данные о том, в каких ИТ-системах хранится информация);
● бизнес-глоссарий, определяющий основные элементы и атрибуты данных, а также их бизнес-контекст;
● правила для обеспечения качества данных;
● жизненный цикл данных.

Организации, которые внедрили технологии Data Engineering и научились эффективно работать с данными, могут обеспечить себе конкурентное преимущество в условиях быстро меняющегося цифрового мира.

#экспертиза

Опасения заказчиков по внедрению DevSecOps

Если DevOps уже стал стандартом разработки и ценность методологии всем очевидна, так как напрямую влияет на скорость выпуска ИТ-продуктов, то DevSecOps используют еще далеко не все.

🛡 DevSecOps – это по сути новый этап развития DevOps и заключается он во внедрении автоматизированных проверок безопасности в DevOps-пайплайн, то есть с первых этапов разработки.

Мы обратили внимание на несколько распространенных опасений, которые могут останавливать компании от внедрения DevSecOps, и хотим разобрать их в этом посте.

❓ «DevSecOps замедляет разработку»

На этапе внедрения DevSecOps может быть замедление из-за того, что сотрудники из ИТ и ИБ будут вынуждены осваивать новые инструменты, учиться новым процессам и коммуницировать друг с другом. Но зато после внедрения вы получите ускорение разработки за счет того, что большая часть уязвимостей будет обнаруживаться на этапе разработки, когда их устранение занимает минимальное время.

❓ «Для DevSecOps нужно объединить разработчиков и безопасников»

Это действительно так, и это важно для вашей безопасности! Возможно, вы сталкивались с ситуациями, когда команды безопасности присоединялись к процессу слишком поздно, и у них оставалось мало времени для запуска тестов и решения проблем (в том числе требующих серьезных правок кода) без нарушения сроков выпуска. DevSecOps поможет решить эту проблему с помощью специализированных инструментов, которые помогают организовать эффективный процесс коммуникации между ИТ и ИБ и повысить общий уровень безопасности ваших приложений.

❓ «DevSecOps – это дорого»

В долгосрочной перспективе DevSecOps, напротив, помогает сэкономить, так как исправлять ошибки на этапе разработки в десятки и сотни раз дешевле, чем на этапе эксплуатации. Кроме того, можно построить DevSecOps-пайплайн полностью на бесплатных и open source-инструментах (инструкция здесь).

Если вам нужна консультация по построению DevSecOps-пайплайна, пишите нам на [email protected]

#экспертиза

В чем заключается работа SRE и DevOps

В нашей команде работают как DevOps, так и SRE-инженеры. DevOps – более знакомый широкой общественности термин, а SRE только набирает популярность. Разберемся, что скрывается за этими ролями.

🔩 DevOps отвечает в первую очередь за построение конвейера по доставке кода в продакшн, а также поддержку и разработку инструментов, которые этому способствуют. В его обязанности входит настройка TEST & DEV-окружений, конфигурирование CI/CD-систем и разработка разнообразных вспомогательных скриптов.

🔩 SRE — это инженер по надёжности и отказоустойчивости инфраструктуры. В обязанности SRE входит разработка концепции надежности и метрик мониторинга, оценка релизов (повредит данный релиз продакшну или нет) и разработка инструментов, которые повышают надежность системы, а также реагирование на инциденты и предотвращение всевозможных сбоев в продакшне.

Если кратко: DevOps автоматизирует и оптимизирует, а SRE следит, чтобы прод не падал и системы были надежны.

#экспертиза

Big Data — это сколько?

Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.

Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).

Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.

Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.

Несколько примеров Big Data:
🍎 Данные со смартфонов пользователей мобильного приложения фитнес-трекера: количество шагов, качество сна, тренировки,
🚘 Данные с сенсоров на сборочной линии автомобильного завода: качество сборки, время прохождения каждого этапа, количество брака,
🌐 Логи использования городского Wi-Fi: в каких точках города наиболее активное использование, какие сайты посещают пользователи, длительность сессий,
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.

#экспертиза