Cоветы по миграции в облако

За последние 3 года наша команда реализовала более 100 миграций в облака, в новой статье на VC мы собрали рекомендации для заказчиков на каждом из этапов #миграции:

⏺ При выборе облачного провайдера обращайте внимание на уровень надежности дата-центров (Tier 3 и выше), соответствие требованиям регуляторов и доступный набор PaaS-сервисов.
⏺ Проведите инвентаризацию текущей инфраструктуры в рамках подготовки к миграции. Это сэкономит вам и деньги, и время в будущем.
⏺ Правильно спроектируйте целевую облачную архитектуру с учетом ваших бизнес-целей и набора сервисов, который предоставляет выбранный вами провайдер.
⏺ Рассчитайте TCO облачной инфраструктуры и изменение этого показателя со временем.
⏺ Изучите вопрос управления расходами на облачную инфраструктуру (FinOps-подход).
⏺ Составьте календарный план миграции с учетом всех необходимых этапов тестирования.
⏺ Не забудьте заложить в план разработку эксплуатационной документации.
⏺ Организуйте дополнительное обучение сотрудников, которые будут работать с облаком.

🔵 Подробнее читайте на VC

#статьи

Дайджест полезных материалов

Делимся с вами подборкой наших материалов по миграции в облако, управлению затратами на облако и безопасности.

✅ МИГРАЦИЯ В ОБЛАКО
Статья с рекомендациями по миграции в облако от CEO Hilbert Team.
Кейс по миграции в облако сервиса для получения банковских гарантий «Держава Онлайн».

✅ УПРАВЛЕНИЕ ЗАТРАТАМИ В ОБЛАКЕ
Статья о том, как методология FinOps помогает оптимизировать облачные расходы и повысить рентабельность бизнеса в облаке.
Подборка различных полезных ресурсов по FinOps.

✅БЕЗОПАСНОСТЬ В ОБЛАКЕ
Статья о том, как построить DevSecOps-пайплайн на Open Source-инструментах.
Видео доклада на тему DevSecOps с конференции AppSecFest (нужен VPN в РФ).
Бесплатный курс «DevSecOps в облачном CI/CD», где вы можете потренироваться самостоятельно строить DevSecOps-пайплайн.
Бесплатный курс «Аутентификация и управление доступами», где вы научитесь создавать максимально защищенную облачную инфраструктуру.

#подборка_материалов

❗️Совет по оптимизации в облаке

Относительно простой способ начать оптимизировать расходы на облако и максимизировать эффект модели Pay As You Go (оплата по мере потребления) – это сократить расходы в моменты низкой активности вашей инфраструктуры. Например, в выходные дни или ночью.

Чтобы оптимизировать затраты, нужно начать со сбора хорошей статистики. Для анализа ваших текущих расходов и просмотра подробной детализации в Yandex Cloud вы можете воспользоваться дашбордом в DataLens.

Как именно настроить оптимизацию:
– Если вы используете группы виртуальных машин или оркестраторы, то можете настроить автоматическое масштабирование;
– Если ваша инфраструктура статическая, то вы можете использовать специальные инструменты для выключения отдельных инфраструктурных компонентов по заданному расписанию. Например, в Yandex Cloud для остановки ВМ, когда в них нет необходимости, есть приложения VM Watchdog и VM Folder Watchdog, о которых мы недавно рассказывали.

Таким образом вы сможете повысить эффективность вашей инфраструктуры и оптимизировать облачные расходы.

#экспертиза

🔩 Тренд на дата-инжиниринг

Интерес к дата-инжинирингу (Data Engineering) вырос за год на 35% по данным ORelly, сейчас это одна из самых быстрорастущих областей ИТ-отрасли.

👨‍💻 Дата-инженеры занимаются построением и обслуживанием инфраструктуры для сбора, хранения и обработки данных. Это включает в себя задачи по построению корпоративных хранилищ и озер данных, создание ETL/ELT-пайплайнов для сбора, преобразования и загрузки данных, а также их анализа.

Далее рассмотрим тенденции в сфере дата-инжиниринга ⬇️

#экспертиза

Тенденции дата-инжиниринга 2023

1️⃣Миграция в облака
Облачные платформы становятся основой для обработки, хранения и анализа больших объемов данных из-за масштабируемости и наличия специализированных сервисов. По прогнозам Google к 2027 году более 50% всех предприятий перейдут в облако.

2️⃣ Real-time обработка данных
С развитием сферы облачных вычислений и ростом объемов данных возросла необходимость в оперативных инсайтах. Обработка данных в real-time режиме позволяет быстро реагировать на изменения, выявлять паттерны и принимать обоснованные решения.

3️⃣ DataOps и MLOps
Это методологии, направленные на автоматизацию и улучшение процессов сбора, обработки и анализа данных. DataOps (DevOps + Data Science) стремится организовать непрерывную поставку качественных данных, MLOps (DevOps + Machine Learning) – эффективно разрабатывать, развертывать и обслуживать ML-модели.

4️⃣ Data Lakehouse
Data Lakehouse — новая гибридная технология, которая использует лучшее из хранилищ (Data Warehouse) и озёр данных (Data Lake). Технология стала возможна благодаря новому дизайну системы: реализации структур данных и функций управления данными, аналогичных тем, которые используются в хранилище данных, непосредственно поверх недорогого облачного хранилища в открытых форматах. Основное преимущество – возможность хранения структурированных и неструктурированных данных, возможность практически безграничного масштабирования и относительно низкая стоимость.

5️⃣Big Data и IoT
Говоря о тенденциях индустрии обработки данных, нельзя пройти мимо Интернета вещей (IoT), который бурно развивается и влияет на область инжиниринга данных. Устройства IoT собирают большие объемы неструктурированных данных, которые можно эффективно обрабатывать в режиме реального времени, используя различные подходы.

6️⃣ Data Governance
Последняя тенденция, которую мы хотели бы сегодня осветить — Data Governance — целостная стратегия управления корпоративными данными. Данная стратегия включает в себя:
● создание единого каталога метаданных, описывающих все источники организации (например, данные о том, в каких ИТ-системах хранится информация);
● бизнес-глоссарий, определяющий основные элементы и атрибуты данных, а также их бизнес-контекст;
● правила для обеспечения качества данных;
● жизненный цикл данных.

Организации, которые внедрили технологии Data Engineering и научились эффективно работать с данными, могут обеспечить себе конкурентное преимущество в условиях быстро меняющегося цифрового мира.

#экспертиза

Опасения заказчиков по внедрению DevSecOps

Если DevOps уже стал стандартом разработки и ценность методологии всем очевидна, так как напрямую влияет на скорость выпуска ИТ-продуктов, то DevSecOps используют еще далеко не все.

🛡 DevSecOps – это по сути новый этап развития DevOps и заключается он во внедрении автоматизированных проверок безопасности в DevOps-пайплайн, то есть с первых этапов разработки.

Мы обратили внимание на несколько распространенных опасений, которые могут останавливать компании от внедрения DevSecOps, и хотим разобрать их в этом посте.

❓ «DevSecOps замедляет разработку»

На этапе внедрения DevSecOps может быть замедление из-за того, что сотрудники из ИТ и ИБ будут вынуждены осваивать новые инструменты, учиться новым процессам и коммуницировать друг с другом. Но зато после внедрения вы получите ускорение разработки за счет того, что большая часть уязвимостей будет обнаруживаться на этапе разработки, когда их устранение занимает минимальное время.

❓ «Для DevSecOps нужно объединить разработчиков и безопасников»

Это действительно так, и это важно для вашей безопасности! Возможно, вы сталкивались с ситуациями, когда команды безопасности присоединялись к процессу слишком поздно, и у них оставалось мало времени для запуска тестов и решения проблем (в том числе требующих серьезных правок кода) без нарушения сроков выпуска. DevSecOps поможет решить эту проблему с помощью специализированных инструментов, которые помогают организовать эффективный процесс коммуникации между ИТ и ИБ и повысить общий уровень безопасности ваших приложений.

❓ «DevSecOps – это дорого»

В долгосрочной перспективе DevSecOps, напротив, помогает сэкономить, так как исправлять ошибки на этапе разработки в десятки и сотни раз дешевле, чем на этапе эксплуатации. Кроме того, можно построить DevSecOps-пайплайн полностью на бесплатных и open source-инструментах (инструкция здесь).

Если вам нужна консультация по построению DevSecOps-пайплайна, пишите нам на [email protected]

#экспертиза

В чем заключается работа SRE и DevOps

В нашей команде работают как DevOps, так и SRE-инженеры. DevOps – более знакомый широкой общественности термин, а SRE только набирает популярность. Разберемся, что скрывается за этими ролями.

🔩 DevOps отвечает в первую очередь за построение конвейера по доставке кода в продакшн, а также поддержку и разработку инструментов, которые этому способствуют. В его обязанности входит настройка TEST & DEV-окружений, конфигурирование CI/CD-систем и разработка разнообразных вспомогательных скриптов.

🔩 SRE — это инженер по надёжности и отказоустойчивости инфраструктуры. В обязанности SRE входит разработка концепции надежности и метрик мониторинга, оценка релизов (повредит данный релиз продакшну или нет) и разработка инструментов, которые повышают надежность системы, а также реагирование на инциденты и предотвращение всевозможных сбоев в продакшне.

Если кратко: DevOps автоматизирует и оптимизирует, а SRE следит, чтобы прод не падал и системы были надежны.

#экспертиза

Big Data — это сколько?

Давайте разберемся, в какой момент данные становятся "большими", и мы уже не можем использовать традиционные подходы для их обработки, хранения и анализа в виде баз данных.

Если говорить исключительно об объеме, то часто называют порог в 150 Гб в сутки, но не стоит на него ориентироваться, потому что Big Data – это не просто большое количество данных. В основе Big Data лежат 3 основные характеристики (VVV):
Volume – фактический размер данных (условно от 150 Гб в сутки),
Velocity – высокая скорость накопления и обработки данных (например, если база интернет-магазина пополняется со скоростью 10 заказов в сутки, то это не большие данные),
Variety – слабая структурированность данных (например, не относится к Big Data список из 10 000 ФИО пользователей какого-либо сервиса или расписание транспорта в городе).

Есть еще 3 дополнительных V:
Veracity – достоверность как самого набора данных, так и результатов его анализа,
Variability – изменчивость потока данных во времени (например, на него может влиять время суток). Чем нестабильнее поток, тем сложнее его анализ,
Value – ценность данных, то есть извлечение из данных пользы для бизнеса и клиентов.

Поэтому Big Data – это не только определенный объем, но и способность извлекать ценную и достоверную информацию из постоянно растущего потока слабо структурированных данных.

Несколько примеров Big Data:
🍎 Данные со смартфонов пользователей мобильного приложения фитнес-трекера: количество шагов, качество сна, тренировки,
🚘 Данные с сенсоров на сборочной линии автомобильного завода: качество сборки, время прохождения каждого этапа, количество брака,
🌐 Логи использования городского Wi-Fi: в каких точках города наиболее активное использование, какие сайты посещают пользователи, длительность сессий,
💳 Информация о покупках клиентов банка и снятии ими наличных в терминалах и отделениях.

#экспертиза

✨ Мы на SmartDev 2023

21 сентября состоится SmartDev 2023 – технологическая конференция от «Сбер» для разработчиков, инженеров, аналитиков и других представителей IT‑сообщества.

Михаил Кажемский, ведущий DevOps-инженер Hilbert Team, выступит в треке по DevOps c докладом «ClickHouse как бекенд для Prometheus».

Участие в мероприятии бесплатное, регистрация открыта на сайте конференции. Для тех, кто не сможет посетить конференцию очно, будет доступна онлайн-трансляция на сайте мероприятия.

#мероприятия_оффлайн

⚡️Специальный выпуск про FinOps

На YouTube-канале Yandex Cloud вышел специальный выпуск Monthly Cloud News, посвященный теме #FinOps.

Антон Черноусов, Developer Advocate в Yandex Cloud, обсудил с CEO Hilbert Team Вячеславом Бессоновым и CEO Хайстекс Юлией Рынденковой развитие культуры FinOps в России и в мире. Эксперты рассмотрели вопросы влияния FinOps на бизнес и практическую пользу от конкретных практик, например, лейблинг ресурсов.

Monthly Cloud News: специальный выпуск про FinOps

Если у вас есть вопросы по FinOps или вам нужна консультация по FinOps-оптимизации вашей инфраструктуры, пишите нам [email protected]

#интервью

⚡️ 12 октября приглашаем CTO и DevOps на вебинар «Автоматизация создания окружений для R&D-команд»

Чтобы сделать процесс разработки цифровых продуктов максимально быстрым и эффективным, важно избавить своих разработчиков от рутинной настройки окружений и помочь им сосредоточиться на главном – написании кода.

На вебинаре мы расскажем, как облегчить жизнь вашим разработчикам и внедрить подходы по автоматизации создания R&D-окружений, а также покажем, как вы можете организовать это на практике в своей организации.

Программа:
1. Создание динамических окружений в Kubernetes (пример реализации, плюсы и минусы),
2. Создание статических окружений с помощью Terraform и Terragrunt (пример реализации, плюсы и минусы),
3. Создание окружений с помощью CrossPlane и ArgoCD (пример реализации, плюсы и минусы, планы Yandex Cloud на развитие CrossPlane),
4. Как выбрать подходящий сценарий в зависимости от требований бизнеса.

Спикеры:
Михаил Кажемский – ведущий DevOps-инженер Hilbert Team.
Антон Брехов – партнерский архитектор Yandex Cloud.

➡️ Зарегистрироваться на вебинар

#мероприятия_онлайн

Что было на конференциях Yandex Cloud, Сбера, Selectel?

Наша команда в сентябре посетила ряд мероприятий от крупнейших технологических компаний. Хотим рассказать, что там было интересного и важного.

📌 Yandex Scale 2023
Yandex Cloud сделал ряд важных анонсов:
✔️ Yandex DataLens, сервис для анализа и визуализации данных, выходит в open source,
✔️ Запущен ряд новых сервисов: Smart Web Security для защиты веб-приложений с помощью поведенческого анализа пользователей и машинного обучения,
✔️ Yandex Managed Service for Apache Airflow™ для настройки операций по обработке и аналитике данных,
✔️ Yandex SpeechSens – сервис речевой аналитики для глубокого анализа каналов коммуникации,
✔️ Yandex Cloud Postbox – сервис для отправки транзакционных писем,
✔️ Подведены итоги закрытого тестирования YandexGPT.
Репортаж Yandex Scale 2023 на Хабр.
Видеозапись конференции.

📌 Smart Dev 2023
Сбер поделился результатами исследования «Панорама российского IT-рынка»: размер IT-рынка РФ составил 1,6 трлн рублей, при этом 80% IT-рынка покрывают топ-500 компаний.

Также Сбер представил новые разработки:
✔️ интерфейс доступа к нейросети Сбера GigaChat API,
✔️ инструмент для разработки и автодополнения программного кода GigaCode,
✔️ сервис для работы над проектами с открытым и закрытым кодом GitVerse,
✔️ интеграцию сервиса для разработки ботов SaluteBot + GigaChat.
Видеозапись конференции (обратите внимание на лекции профессоров МГУ в треке «Инновации и стратегии» и трек по DevOps).

📌 Selectel Tech Day
На мероприятии было объявлено о запуске новых решений Selectel:
✔️ Управляемый сервис по развертыванию кластеров Kubernetes на базе выделенных серверов (Managed Kubernetes on Bare Metal),
✔️ ML-платформа – облачное решение для обучения и развертывания ML-моделей,
✔️ Вскоре из бета-теста выйдет удобное решение для бизнеса — 1С в облаке.
Видеозапись конференции.

#подборка_материалов

Автоматизация создания окружений для R&D

На прошлой неделе мы совместно с Yandex Cloud провели вебинар по теме «Автоматизация создания окружений для R&D». Мы рассмотрели три подхода к созданию таких окружений:
⏺Создание динамических окружений в Kubernetes,
⏺ Создание статических окружений с помощью Terraform и Terragrunt,
⏺GitOps-подход: создание окружений с помощью CrossPlane и ArgoCD.

🗂 Материалы с вебинара мы собрали в статье на Хабре.

▶️ Видеозапись вебинара можете посмотреть на YouTube.

#мероприятия_онлайн

Решения по #FinOps в России

Сегодня хотим рассказать вам о трех специализированных инструментах по управлению облачными затратами, которые доступны в России.

⏺Хайстекс Оптсекейл – платформа помогает компаниям контролировать и оптимизировать расходы на кластеры Kubernetes и публичные облака.
GitHub: https://github.com/hystax/optscale

⏺Coster от Cloudmaster – FinOps-решение для контроля и учета затрат на ИТ-инфраструктуру. С помощью единого мультиоблачного дашборда Coster легко и быстро предоставит информацию о бюджетах и расходах по всем облакам.
Подробнее о решении: https://cloudmaster.ru/coster

⏺Cloud Advisor – инструмент от основателей компании Agnitum, известной по продукту Outpost Firewall. Cloud Advisor сканирует облачную инфраструктуру и позволяет выявить неиспользуемые и неподключенные, а также недостаточно загруженные ресурсы.
Подробнее о решении: https://www.cloudadvisor.app/cost-optimization/

🔵 Если хотите узнать больше о том, как эффективно использовать FinOps-инструменты, приходите послушать доклад нашего CEO Вячеслава Бессонова на Highload++ в Москве.

#инструменты

💻 Бесплатный курс для дата-инженеров и дата-аналитиков

Наши инженеры совместно с экспертами Yandex Cloud разработали курс Managed Service for ClickHouse® по работе с популярной базой данных ClickHouse.

На курсе вы научитесь:
⏺ Проектировать базы данных и управлять ими, используя облачный сервис Managed Service for ClickHouse,
⏺ Эффективно обрабатывать потоки данных и выполнять SQL‑запросы,
⏺ Делать резервное копирование и обеспечивать отказоустойчивость,
⏺ Применять ClickHouse в Data Science,
⏺ Использовать ClickHouse в качестве инструмента хранения и обработки больших объёмов данных,
⏺ Применять и настраивать разные движки таблиц с данными в зависимости от ваших задач.

🗂 Курс состоит из 7 модулей для изучения в произвольном порядке.
⌚️ Длительность прохождения курса составит 50–80 часов.

Зарегистрироваться на курс

#курсы