Как настроить мониторинг событий в Kubernetes: 4 бесплатных инструмента

По умолчанию события в Kubernetes хранятся всего один час, и этого может быть недостаточно для анализа логов. В статье — четыре инструмента, которые подойдут для мониторинга событий.

​​Что такое Apache Spark и как он используется в Big Data

В работе с большими данными используется много разных инструментов. Apache Spark — один из них. Мы рассказываем, как он используется в Big Data и сравниваем с похожей технологией — Hadoop MapReduce.

​​🤔 Ликбез: как работает протокол MQTT

Для передачи данных в IoT используется специальный протокол MQTT, работающий по принципу издатель-подписчик. В статье говорим о базовых вещах: как он устроен и где применяется.

​​Переход на облачную операционную модель снижает расходы в 1,2–2,7 раза

Новое исследование компании Accenture показывает: компании, которые внедряют облако в свою операционную модель, добиваются больших успехов.

👉 Почти каждая организация внедрила облако и искусственный интеллект в свою работу за последние 10 лет. Но только половина из них использует их для трансформации повседневной работы. И всего от 12% до 15% компаний внедряют облако в свою операционную модель. Accenture называет их «‎постоянные соперники».

👉 Эти компании не стремятся к экономии, но в конечном итоге именно они добиваются большего снижения затрат — в 1,2–2,7 раза.

👉 Чтобы эффективно использовать облако, важно разработать четкую стратегию, развивать «гибкое» мышление, накапливать опыт, а также изучать возможность цифровой трансформации с помощью 5G и виртуализации.

👉 Главный вывод — будущая конкурентоспособность компаний зависит от того, какой тип облаков и облачных сервисов они выберут сегодня.

Читать подробнее

​​Четыре вида персональных данных

Если вы храните или обрабатываете персональные данные, то нужно понимать, к какому виду они относятся. От этого зависит степень необходимой защиты.

👉 Общие. Это базовые личные данные: ФИО, место регистрации, номер телефона, email. Обычно эти данные и так известны некоторым другим людям, могут быть опубликованы в общедоступных источниках.

👉 Специальные. Информация о личности человека: расовая и национальная принадлежность, политические или философские взгляды, состояние здоровья, информация о судимостях. Эти данные обычно находятся в закрытом доступе: их можно узнать только лично у человека, либо сделав официальный запрос в больницу, полицию или суд.

👉 Биометрические. Это физиологические или биологические особенности человека, которые используются для установления личности: фотографии, отпечатки пальцев, группа крови. Важно, что к таким данным относятся только то, что используется для идентификации человека. Например, фотографии для системы распознавания лиц сотрудников — биометрические данные, а фотографии в личных делах — нет.

👉 Иные. В эту категорию относится все, что нельзя отнести к общедоступным, специальным или биометрическим данным. Это дополнительная информация, которая часто может меняться. Например, членство в клубе или корпоративные данные: зарплата, периоды отпусков, стаж. Эти данные сложнее всего отличить от специальных.

В статье подробнее рассказываем, что такое персональные данные и как их нужно защищать в зависимости от вида.

​​Кажется, что разработка в B2B и B2C — это совершенно два разных мира. Многие разработчики считают, что в B2B неинтересно работать, невозможно принимать решения быстро и развивать свои навыки.

Но это не так. Мы делимся советами, как можно организовать процессы, чтобы не тормозить принятие решений, помочь разработчикам учиться и избежать авралов. Также наши разработчики рассказывают, как это отражается на их работе:

Например, вот что думает Виктория о разнице разработки B2B и B2C.

​​На платформе Mail.ru Cloud Solutions появился сервис для автоматического анализа SQL-запросов

✅ holistic․dev — сервис статического анализа структуры БД и SQL-запросов. Он автоматически находит проблемы безопасности, производительности и архитектуры в базе данных. Все проблемы отражаются в подробных отчетах.

✅ Оптимизация производительности позволяет ускорить приложения. В итоге они лучше справляются с высокой нагрузкой, и вам не нужно выбирать самую мощную конфигурацию Managed DB. Также holistic․dev может находить логические ошибки в SQL-запросах и проблемы безопасности.

✅ Автоматизация этих действий позволит разгрузить системных администраторов и backend-разработчиков от многочасового анализа запросов и направить их силы на более актуальные задачи.

✅ Сервис holistic.dev не подключается к БД напрямую, а лишь анализирует тексты DDL- и DML-запросов. То есть сервис не видит ваши данные и вам не нужно беспокоиться за их сохранность.

✅ Для подключения достаточно зарегистрироваться на сайте holistic.dev, получить токен, указать его на платформе Mail.ru Cloud Solutions в параметрах вашего инстанса PostgreSQL. Все это бесплатно.

Подробнее

​​Сервисы Mail․ru Cloud Solutions сертифицированы по международному стандарту безопасных платежей

🔒 PCI DSS — международный стандарт безопасности данных индустрии платежных карт, которому должны соответствовать все, кто хранит и обрабатывает платежные данные. Как правило, это банки, сервис-провайдеры и интернет-магазины.

😰 Чтобы сертифицировать свою инфраструктуру, компаниям нужно закупить оборудование, настроить серверы и держать штат специалистов. Это дорого, долго и сложно.

👍 Теперь платформа Mail․ru Cloud Solutions сертифицирована в соответствии с международным стандартом PCI DSS. Это значит, что можно хранить и обрабатывать данные платежных карт в облаке, не заботясь о сертификации своей инфраструктуры.

😍 Сертификацию прошли IaaS и PaaS-сервисы Mail․ru Cloud Solutions, в том числе Kubernetes как сервис, объектное хранилище S3, масштабируемые базы данных PostgreSQL и MySQL как сервис. Более того, соответствие стандарту PCI DSS подтверждено для всех внутренних процессов разработки — защищенными будут все новые сервисы платформы.

Подробнее

​​Mail․ru Cloud Solutions предоставляет мощности для международного конкурса World AI&Data Challenge

🏆 World AI&Data Challenge — международный конкурс по решению социально-значимых задач. Участники из разных стран разрабатывают, тестируют и внедряют цифровые сервисы на основе AI и Big Data. Конкурс проводит Агентство стратегических инициатив (АСИ).

🏫 Конкурсанты создают сервис автоматического расписания для школ, решение по распознаванию азбуки Брайля, разрабатывают рекомендательную систему, которой будут пользоваться врачи при назначении лекарств.

☁️ Мощности для всех проектов предоставляет Mail․ru Cloud Solutions. Готовая площадка помогает командам быстро создавать рабочие продукты и тестировать работоспособность на практике.

Читать подробнее

​​Как начать работу с микросервисами: Best Practices

Нет единых правил и критериев, как правильно начинать работу с микросервисами. Но есть общие рекомендации, которые помогут начать внедрять микросервисы быстро и безболезненно.

Сохраните этот пост себе и сверьтесь со списком прежде, чем приступать к разработке первых микросервисов.

👍 Определите основные бизнес-потребности для будущих сервисов. На одну задачу — один микросервис. Например, если вы развиваете интернет-магазин, бизнес-потребности могут быть такими: ведение каталога товаров, обработка заказов, платежи, учет пользователей.

👍 Назначьте команду для каждой выделенной бизнес-функции. Каждая команда будет владеть соответствующим сервисом и станет экспертом в этой конкретной области.

👍 Подберите технологический стек, оптимальный для каждого сервиса. Набор используемых технологий может отличаться между микросервисами, но все же не рекомендуется использовать для приложения более 2-3 языков программирования.

👍 Проработайте связи между микросервисами. Особое внимание уделите проектированию будущих сервисов и связей между ними. Помните, что в дальнейшем изменить взаимодействие сервисов будет довольно тяжело.

👍 Настройте автоматическую сборку и развертывание микросервисов. Используйте конвейеры CI/CD на базе любой доступной системы: Jenkins, TeamCity, Go и так далее.

👍 Предусмотрите обработку сбоев. Важно гарантировать, что вся система не выйдет из строя при возникновении ошибок в отдельной ее части.

👍 Используйте мониторинг. Из-за большого числа распределенных и разнородных компонентов, вам потребуется централизованное ведение логов и сбор статистики. Отслеживайте не только технические параметры, но и бизнес-показатели.

👍 Утвердите стандарты в отношении ведения кода, оформления API, обработки ошибок. Это значительно повысит эффективность совместной работы нескольких команд над разными сервисами.

А более подробно про переход на микросервисы читайте в полной статье.

​​Дайджест лучших материалов за июль

Подборка самых интересных материалов, которые вышли в прошлом месяце. Проверьте, все ли вы прочитали, чтобы не упустить что-нибудь полезное.

✅ Как запустить рабочий проект в Kubernetes за 60 минут. Kubernetes довольно сложно внедрять, особенно если разворачивать кластер самостоятельно. Но мы покажем способ, как за 60 минут получить с нуля готовый кластер Kubernetes, отказоустойчивое приложение и CI/CD-конвейер в придачу.

✅ Может ли Arenadata DB работать в облаке быстро? Arenadata DB — мощная аналитическая БД, которая довольно требовательна к производительности дисков. Но не все облака гарантируют высокую скорость их отклика. Преподаватель-исследователь протестировал управляемую Arenadata DB на быстрых и сверхбыстрых облачных дисках и рассказал о результатах.

✅ Как графические процессоры помогают бизнесу развиваться. GPU нужны не только для игр и работы с графикой, также они используются в машинном обучении, сейсморазведке и IIoT. На реальных примерах показываем, как графические процессоры помогают исследовать КТ-снимки, создавать мультфильмы и искать новые лекарства.

✅ Как «Ашан» построил платформу для работы с Big Data и улучшил бизнес-показатели. Современный ритейл уже не может обходиться без построения прогнозных и рекомендательных систем на основе Big Data. Александр Дорофеев, ex Head of Big Data в компании «Ашан Ритейл Россия» рассказывает, зачем компании потребовалась специализированная Big Data-платформа, почему выбрали именно публичное облако и каких результатов удалось добиться после миграции.

✅ Как не ошибиться с выбором облачной СУБД. DBaaS есть у многих облачных платформ, это удобный способ создания БД в несколько кликов. Но всем ли он подходит? Как на старте проекта не ошибиться с выбором СУБД и в каких случаях стоит использовать DBaaS?

✅ Где и как искать причины проблем в Kubernetes. Kubernetes — сложная платформа, особенно когда дело касается поиска и устранения проблем. Мы перевели статью, которая подскажет, где можно искать причины проблем в Kubernetes и что с ними делать.

✅ Как мы разработали собственную реализацию DRS и зачем это было нужно. DRS — необходимый компонент практически любой виртуализированной среды. Он выравнивает нагрузку на хостах, чтобы виртуальные машины получали ресурсы в нужном объеме и работали максимально эффективно. В нашем облаке работает собственная реализация этого механизма. Рассказываем, зачем мы ее сделали и как она работает.

✅ Как не ошибиться с выбором облачной системы хранения. Выбрать правильное хранилище для своего проекта в первый раз может быть сложно: непонятно, по каким критериям сравнивать, и как вписаться в бюджет. На вебинаре мы рассказали, какими бывают облачные системы хранения и чем они отличаются от физических хранилищ; какие нюансы стоит учитывать; как правильно реализовать резервное копирование и другие вопросы.