Х5 Retail Group: как мы построили частное облако в энтерпрайзе
X5 Retail Group потребовалась облачная инфраструктура, чтобы быстро обслуживать клиентов, внедрять новые технологии и оптимизировать расходы на IT. Публичное облако не подходило из-за корпоративных требований безопасности.
В компании решили развернуть частное облако — с этим помогли в Mail.ru Cloud Solutions. В кейсе — как устроено частное облако в X5 Retail Group и почему оно позволило ускорить выпуск IT-продуктов.
X5 Retail Group потребовалась облачная инфраструктура, чтобы быстро обслуживать клиентов, внедрять новые технологии и оптимизировать расходы на IT. Публичное облако не подходило из-за корпоративных требований безопасности.
В компании решили развернуть частное облако — с этим помогли в Mail.ru Cloud Solutions. В кейсе — как устроено частное облако в X5 Retail Group и почему оно позволило ускорить выпуск IT-продуктов.
mcs.mail.ru
Как ритейлеру развернуть частное облако и быстро получать готовые сервисы
Расскажем, как Х5 Group и VK Cloud Solutions построили частное облако, чтобы помочь ритейлеру поддержать цифровую трансформацию на уровне инфраструктуры.
Что такое Docker и как он работает
Когда говорят о контейнерах, чаще всего имеют в виду именно Docker. Потому что в мире контейнеров он стал стандартом де-факто.
В статье мы рассказываем, что такое Docker, как он устроен и какие есть альтернативы. Также на практике покажем, как создать собственный Docker-образ и запустить из него контейнер.
Когда говорят о контейнерах, чаще всего имеют в виду именно Docker. Потому что в мире контейнеров он стал стандартом де-факто.
В статье мы рассказываем, что такое Docker, как он устроен и какие есть альтернативы. Также на практике покажем, как создать собственный Docker-образ и запустить из него контейнер.
mcs.mail.ru
Docker: что это и как он работает | Блог VK Cloud
Подробно рассказываем, как устроен Docker, как начать им пользоваться и какие у него есть альтернативы.
26 паттернов микросервисной разработки
Микросервисы популярны и у них есть много достоинств. Но при внедрении новых технологий можно столкнуться со множеством трудностей. Изучение общих закономерностей таких проблем привело к появлению паттернов микросервисной разработки. Это проверенные временем решения по проектированию архитектуры, взаимодействию микросервисов и обеспечению отказоустойчивости.
В статье мы рассмотрим 26 основных паттернов, которые помогут избежать проблем при внедрении микросервисов.
Микросервисы популярны и у них есть много достоинств. Но при внедрении новых технологий можно столкнуться со множеством трудностей. Изучение общих закономерностей таких проблем привело к появлению паттернов микросервисной разработки. Это проверенные временем решения по проектированию архитектуры, взаимодействию микросервисов и обеспечению отказоустойчивости.
В статье мы рассмотрим 26 основных паттернов, которые помогут избежать проблем при внедрении микросервисов.
mcs.mail.ru
Паттерны микросервисной разработки: самый полный список | Блог VK Cloud Solutions
Рассмотрим основные паттерны микросервисной разработки, разделив их на условные группы в зависимости от решаемой задачи.
Практически у всех компаний есть своя внутренняя сеть, в которой работают сервисы и хранится важная информация. Эту сеть нужно защищать от злоумышленников, которые могут подключиться извне, похитить данные или что-то сломать. Один из инструментов защиты — межсетевой экран, или Firewall. В статье мы рассказываем, что это такое, как он работает и какие типы межсетевых экранов бывают.
mcs.mail.ru
Что такое межсетевой экран и как он работает | Блог VK Cloud Solutions
Рассказываем, что такое межсетевой экран, как он работает, зачем нужен и каким может быть.
Mail․ru Cloud Solutions и Git in Sky и помогут GeekBrains подготовить DevOps-инженеров
🖥 На образовательной платформе GeekBrains есть факультет по подготовке DevOps-специалистов. Программа длится 1,5 года и позволяет освоить профессию с нуля. В этом году GeekBrains проведет уникальный экзамен для своих выпускников.
🧑🎓 Экзаменатором выступит компания Git in Sky. Во время экзамена будущие инженеры погрузятся в реальные процессы разработки, общения с заказчиком, создания современной инфраструктуры и пройдут все этапы сдачи работы заказчику.
☁️ Платформа Mail․ru Cloud Solutions выделит облачные ресурсы для работы над экзаменационными проектами. Это позволит максимально точно имитировать реальную работу DevOps-инженеров с клиентами.
https://cnews.ru/link/n530343
🖥 На образовательной платформе GeekBrains есть факультет по подготовке DevOps-специалистов. Программа длится 1,5 года и позволяет освоить профессию с нуля. В этом году GeekBrains проведет уникальный экзамен для своих выпускников.
🧑🎓 Экзаменатором выступит компания Git in Sky. Во время экзамена будущие инженеры погрузятся в реальные процессы разработки, общения с заказчиком, создания современной инфраструктуры и пройдут все этапы сдачи работы заказчику.
☁️ Платформа Mail․ru Cloud Solutions выделит облачные ресурсы для работы над экзаменационными проектами. Это позволит максимально точно имитировать реальную работу DevOps-инженеров с клиентами.
https://cnews.ru/link/n530343
Как расширить приложение в Kubernetes при помощи мультиконтейнерных подов
В Kubernetes довольно легко запустить обычные микросервисы. Но что делать с приложениями, которые не предназначены для работы в контейнерах?
Мы перевели статью об одном из самых мощных инструментов в Kubernetes — мультиконтейнерном поде. Он позволяет менять поведение приложения, не изменяя его кода. Эта функция удобна для приложений, которые изначально не предназначены для работы в контейнерах.
В Kubernetes довольно легко запустить обычные микросервисы. Но что делать с приложениями, которые не предназначены для работы в контейнерах?
Мы перевели статью об одном из самых мощных инструментов в Kubernetes — мультиконтейнерном поде. Он позволяет менять поведение приложения, не изменяя его кода. Эта функция удобна для приложений, которые изначально не предназначены для работы в контейнерах.
mcs.mail.ru
Мультиконтейнеры поды в Kubernetes: как с их помощью расширить приложение | Блог Mail.Ru Cloud Solutions
Рассказываем о мультиконтейнерных подах, эта технология позволяет менять поведение приложения, не изменяя его кода.
В частном облаке Mail․ru Cloud Solutions появилась защищенная СУБД Jatoba
Jatoba — защищенная российская СУБД, которую могут использовать компании с повышенными требованиями к IT-безопасности. Например, нефтегазовые и металлургические предприятия. Jatoba позволяет «из коробки» решать важные задачи по обеспечению безопасности данных, отказоустойчивости и производительности.
Mail․ru Private Cloud — платформа для построения частного облака. В Jatoba реализованы механизмы обработки данных в облаке, а также технологии для обеспечения отказоустойчивости с учетом специфики облачных хранилищ. Это позволяет пользователям приватного облака получить надежную российскую СУБД.
https://clck.ru/VhLmp
Jatoba — защищенная российская СУБД, которую могут использовать компании с повышенными требованиями к IT-безопасности. Например, нефтегазовые и металлургические предприятия. Jatoba позволяет «из коробки» решать важные задачи по обеспечению безопасности данных, отказоустойчивости и производительности.
Mail․ru Private Cloud — платформа для построения частного облака. В Jatoba реализованы механизмы обработки данных в облаке, а также технологии для обеспечения отказоустойчивости с учетом специфики облачных хранилищ. Это позволяет пользователям приватного облака получить надежную российскую СУБД.
https://clck.ru/VhLmp
VMware vs OpenStack: сравниваем две платформы для развертывания инфраструктуры
Когда планируют развертывать виртуальную инфраструктуру, обычно выбирают между двумя платформами: VMware и Openstack. В статье мы рассказываем, почему сравнивать их не совсем корректно и какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
Когда планируют развертывать виртуальную инфраструктуру, обычно выбирают между двумя платформами: VMware и Openstack. В статье мы рассказываем, почему сравнивать их не совсем корректно и какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
mcs.mail.ru
VMware vs OpenStack: сравнение двух платформ для развертывания инфраструктуры | Блог VK Cloud Solutions
Рассказываем, какое решение больше подойдет для инфраструктуры на своих серверах и в облаке.
Как KGK Global повысила стабильность сервисов в три раза
🏢 Компания KGK Global проектирует оборудование для транспортных компаний и разрабатывает онлайн-сервисы для спутникового мониторинга транспорта.
🤔 Проблема. В KGK Global использовали собственное оборудование, на котором работали все сервисы компании. Со временем архитектура перестала справляться с растущей нагрузкой, а инструменты разработки отвечать требованиям актуальных клиентских задач. Из-за этого у компании регулярно возникали проблемы с доступностью онлайн-сервисов.
👍 Решением стала миграция на облачную платформу Mail․ru Cloud Solution. Архитектура PaaS-сервисов, аттестация по 152-ФЗ, а также надежные и быстрые каналы связи полностью удовлетворяют требованиям компании KGK Global. Также было внедрено новое хранилище — аналитическая СУБД ClickHouse, которая позволяет работать с большими объемами данных в режиме реального времени. После миграции в облако надежность работы сервисов возросла в три раза при сохранении стоимости содержания ИТ-инфраструктуры.
https://clck.ru/VkpJW
🏢 Компания KGK Global проектирует оборудование для транспортных компаний и разрабатывает онлайн-сервисы для спутникового мониторинга транспорта.
🤔 Проблема. В KGK Global использовали собственное оборудование, на котором работали все сервисы компании. Со временем архитектура перестала справляться с растущей нагрузкой, а инструменты разработки отвечать требованиям актуальных клиентских задач. Из-за этого у компании регулярно возникали проблемы с доступностью онлайн-сервисов.
👍 Решением стала миграция на облачную платформу Mail․ru Cloud Solution. Архитектура PaaS-сервисов, аттестация по 152-ФЗ, а также надежные и быстрые каналы связи полностью удовлетворяют требованиям компании KGK Global. Также было внедрено новое хранилище — аналитическая СУБД ClickHouse, которая позволяет работать с большими объемами данных в режиме реального времени. После миграции в облако надежность работы сервисов возросла в три раза при сохранении стоимости содержания ИТ-инфраструктуры.
https://clck.ru/VkpJW
Как Kubernetes помогает работать с Big Data быстрее и эффективнее
В традиционной Hadoop-архитектуре есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред. Но есть и другой, Cloud-Native подход работы с большими данными. Он решает эти проблемы и задействует все преимущества облачных технологий.
В статье рассказываем, как в Data Science применяется Kubernetes и какие преимущества он может дать по сравнению с классическим развертыванием.
В традиционной Hadoop-архитектуре есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред. Но есть и другой, Cloud-Native подход работы с большими данными. Он решает эти проблемы и задействует все преимущества облачных технологий.
В статье рассказываем, как в Data Science применяется Kubernetes и какие преимущества он может дать по сравнению с классическим развертыванием.
Хабр
Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science
Big Data by Batjorge Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить н...
MLflow в облаке: простой и быстрый способ вывести ML-модели в продакшен
Подход MLOps помогает стандартизировать процесс разработки ML-моделей и сокращает время их выкатки в продакшен. Для построения MLOps нужны специальные инструменты, например, MLflow. Это один из самых стабильных и легких инструментов, позволяющий управлять жизненным циклом ML-моделей. Но чтобы получить от него максимум пользы, важно развернуть его в продуктивном отказоустойчивом варианте.
В статье рассказываем, как развернуть MLflow в облаке, настроить все необходимые сервисы, опубликовать и протестировать модель.
Подход MLOps помогает стандартизировать процесс разработки ML-моделей и сокращает время их выкатки в продакшен. Для построения MLOps нужны специальные инструменты, например, MLflow. Это один из самых стабильных и легких инструментов, позволяющий управлять жизненным циклом ML-моделей. Но чтобы получить от него максимум пользы, важно развернуть его в продуктивном отказоустойчивом варианте.
В статье рассказываем, как развернуть MLflow в облаке, настроить все необходимые сервисы, опубликовать и протестировать модель.
Хабр
MLflow в облаке. Простой и быстрый способ вывести ML-модели в продакшен
Robot factory by lucart MLflow — один из самых стабильных и легких инструментов, позволяющий специалистам по Data Science управлять жизненным циклом моделей ма...
Три основных отличия базы данных от озера данных
В работе с базами и озерами данных есть принципиальные различия. Мы перевели короткую статью об устройстве Data Lake. Она пригодится тем, у кого нет большого опыта работы с реляционными базами данных.
В работе с базами и озерами данных есть принципиальные различия. Мы перевели короткую статью об устройстве Data Lake. Она пригодится тем, у кого нет большого опыта работы с реляционными базами данных.
mcs.mail.ru
Различия между озером данных и базой данных | Блог VK Cloud Solutions
Рассказываем, что такое озеро данных, и чем оно отличается от традиционной базы данных.
Airflow — платформа для разработки, планирования и мониторинга сложных ETL-процессов, которая стала стандартом де-факто в своей области. В карточках — основные преимущества Airflow, а полное описание инструмента — в статье.
Аналитические сервисы Seeq в России будут предоставляться Mail․ru Cloud Solutions
Seeq — система для глубокой аналитики данных производственных процессов: анализ Big Data, смешение и интеграция данных, машинное обучение, предиктивная аналитика и многое другое. Система помогает повысить эффективность бизнеса за счет анализа производственных данных для решения прикладных задач.
Система Seeq расширяет экосистему отраслевых решений платформы Mail․ru Cloud Solutions. Теперь российский бизнес может получить доступ к аналитической системе, которая используется мировыми гигантами промышленности, прямо из отечественной облачной инфраструктуры.
Поддержку пользователей на этапе внедрения Seeq будет выполнять компания «ИндаСофт», которая выступает эксклюзивным партнером вендора на территории России.
https://clck.ru/Vn8qR
Seeq — система для глубокой аналитики данных производственных процессов: анализ Big Data, смешение и интеграция данных, машинное обучение, предиктивная аналитика и многое другое. Система помогает повысить эффективность бизнеса за счет анализа производственных данных для решения прикладных задач.
Система Seeq расширяет экосистему отраслевых решений платформы Mail․ru Cloud Solutions. Теперь российский бизнес может получить доступ к аналитической системе, которая используется мировыми гигантами промышленности, прямо из отечественной облачной инфраструктуры.
Поддержку пользователей на этапе внедрения Seeq будет выполнять компания «ИндаСофт», которая выступает эксклюзивным партнером вендора на территории России.
https://clck.ru/Vn8qR
Подход Multicloud Native Service: как сделать систему максимально отказоустойчивой
Подход Multicloud Native Service сочетает в себе лучшее из подходов Multicloud и Cloud Native. Он позволяет построить 100% отказоустойчивую и высокодоступную систему. В статье подробно рассказываем о преимуществах и способах реализации подхода, а также о сложностях и методах их обхода.
Подход Multicloud Native Service сочетает в себе лучшее из подходов Multicloud и Cloud Native. Он позволяет построить 100% отказоустойчивую и высокодоступную систему. В статье подробно рассказываем о преимуществах и способах реализации подхода, а также о сложностях и методах их обхода.
mcs.mail.ru
Подход Multicloud Native Service: что это такое | Блог VK Cloud Solutions
Рассказываем о преимуществах и вариантах реализации подхода Multicloud Native Service, а также о сложностях, с которыми можно столкнуться при его использовании.
Преимущества запуска Spark в Kubernetes
Для частого запуска Spark-приложений необходимо максимально упростить процесс запуска задач, а также уметь гибко настраивать их конфигурации. Для этого можно запускать Spark внутри Kubernetes. Вот основные преимущества такого подхода:
✅ Изоляция сред. При переходе на новую версию Spark в традиционном Hadoop-кластере нужно организовать бесшовный апгрейд, проверить все приложения и пайплайны. Запуск Spark в Kubernetes решает эту проблему: каждый член команды может создать независимое окружение и использовать любую версию Spark.
✅ Управление ресурсами. Kubernetes позволяет накладывать ограничения ресурсов на разные приложения и разные типы пайплайнов, например, используя Namespace.
✅ Гибкое масштабирование. Kubernetes в облаке умеет задействовать огромное количество ресурсов при необходимости. Например, ваше приложение обычно использует 10 ядер процессора, но иногда ему нужно 500. Автомасштабирование кластера Kubernetes позволит получить дополнительные ресурсы лишь на то время, когда они реально нужны приложению.
✅ Разделение Storage и Compute-слоев. В Hadoop-кластере каждая нода является и Storage, и Compute. Если приложению нужно добавить больше ядер, то добавляется новую ноду, которая также добавляет и диски, за которые надо платить. Аналогично и обратное. Облако же позволяет разделить Storage и Compute-слои: Kubernetes выступает в роли Compute, а S3-хранилище в роли Storage.
В статье мы подробнее рассказываем о запуске Spark внутри Kubernetes, а также на реальном примере показываем как это сделать.
Для частого запуска Spark-приложений необходимо максимально упростить процесс запуска задач, а также уметь гибко настраивать их конфигурации. Для этого можно запускать Spark внутри Kubernetes. Вот основные преимущества такого подхода:
✅ Изоляция сред. При переходе на новую версию Spark в традиционном Hadoop-кластере нужно организовать бесшовный апгрейд, проверить все приложения и пайплайны. Запуск Spark в Kubernetes решает эту проблему: каждый член команды может создать независимое окружение и использовать любую версию Spark.
✅ Управление ресурсами. Kubernetes позволяет накладывать ограничения ресурсов на разные приложения и разные типы пайплайнов, например, используя Namespace.
✅ Гибкое масштабирование. Kubernetes в облаке умеет задействовать огромное количество ресурсов при необходимости. Например, ваше приложение обычно использует 10 ядер процессора, но иногда ему нужно 500. Автомасштабирование кластера Kubernetes позволит получить дополнительные ресурсы лишь на то время, когда они реально нужны приложению.
✅ Разделение Storage и Compute-слоев. В Hadoop-кластере каждая нода является и Storage, и Compute. Если приложению нужно добавить больше ядер, то добавляется новую ноду, которая также добавляет и диски, за которые надо платить. Аналогично и обратное. Облако же позволяет разделить Storage и Compute-слои: Kubernetes выступает в роли Compute, а S3-хранилище в роли Storage.
В статье мы подробнее рассказываем о запуске Spark внутри Kubernetes, а также на реальном примере показываем как это сделать.
