Мы создали собственную аналитическую платформу 🔑

Каждый день мы работаем с огромными массивами разнородной информации: финансовыми прогнозами, экономическими показателями, данными контрагентов и подрядчиков. Чтобы делать это эффективно, дирекция данных создала аналитическую платформу на базе Open Source и собственных разработок.

Мы применили на практике самую современную парадигму архитектур — LakeHouse. Она расширяет традиционную аналитику данных, сочетая гибкость озер с четкой структурой хранилищ. Это позволяет оптимизировать загрузку, обработку и анализ данных, а также обеспечивает изоляцию хранения от вычислений для облегчения масштабирования.

В итоге мы имеем возможность работать как с готовыми витринами, так и напрямую с качественными очищенными и описанными данными в озере.

Аналитическая платформа уже агрегирует информацию из 170+ мастер-систем и источников, превращая данные в ценный актив компании. На уровне LakeHouse мы обеспечиваем не только кросс-системность данных, но и обогащаем их и приводим к стандартам качества, а также описываем каждый атрибут данных в каталоге данных.

Для компании это был стратегически важный проект: не просто централизовать данные, но и сделать их пригодными для принятия управленческих решений. При этом мы реализовали ряд крупных проектов: осуществили переезд с облака в собственный ЦОД компании, мигрировали с Hadoop на S3, применили последние практики dataops и iac подход, развернули весь стек по работе с данными в Kubernetes, добились оптимизации хранения данных в 6 раз.

Хотите узнать больше? Ставьте 🔥

Что такое DevSecOps и зачем он нам нужен 🛡

DevSecOps — это подход, который делает безопасность неотъемлемой частью разработки программного обеспечения. Он объединяет разработку (Dev), безопасность (Sec) и эксплуатацию (Ops), позволяя выявлять и устранять уязвимости еще на ранних этапах.

Он помогает нам позаботиться о безопасности с самого начала, ускоряя работу и снижая риски благодаря автоматизации. Преимущества очевидны по нашему опыту: время на исправление уязвимостей сократилось на 40%, количество дефектов снизилось на 80%, а тесты безопасности покрывают до 90% кода!

Это достигается за счет слаженной работы наших команд: DevOps-инженеры автоматизируют процессы CI/CD, DevSecOps-специалисты внедряют инструменты анализа, а разработчики оперативно устраняют проблемы. Например, в наших пайплайнах безопасность проверяется на всех этапах — от статического анализа кода до мониторинга приложений с помощью WAF после развертывания.

Сегодня, когда киберугрозы растут, а скорость вывода продуктов на рынок критична, DevSecOps становится не просто трендом, а необходимостью. Он повышает качество ПО, снижает затраты и помогает бизнесу оставаться конкурентоспособным. А у вас применяется такой подход?

Поделитесь своим опытом внедрения и мнением о DevSecOps в комментариях!

#строим

Не только строим, но и помогаем строить 🌱

Мы создали целый арсенал инструментов, которые помогают нам на всех этапах строительства — от инвестиционной стадии до ввода в эксплуатацию. За этими решениями огромный опыт и экспертиза наших специалистов. Но этот же опыт может помогать и другим компаниям, поэтому мы разработали и SaaS-продукты.

Так у нас появилась Платформа 10D — система из 10+ инструментов, которая даёт возможность всем, кто связан с девелопментом упростить:

🤩Автоматизация мастер-планирования — преддевелопмент

🤩Среда общих данных — работу с документацией

🤩Управление качеством строительства — контроль качества на всех этапах, акты КС-2

🤩Управление безопасностью объектов — КПП

🤩А скоро будут доступны управление стоимостью и сроками и управление МТО

Для создания платформы мы взяли существующие продукты «Самолета», а затем адаптировали их под нужды пользователей! В их основе лежат известные Open Source технологии: React.js, Django, PostgreSQL, Redis, Kafka и REST API, а также облачные решения от Yandex Cloud.

Еще одна важная особенность — мультитенантность — архитектура, при которой один экземпляр приложения обслуживает несколько независимых клиентов. За счет нее обеспечивается экономия ресурсов, масштабируемость и упрощение обслуживания всего решения. При этом пользователи могут использовать как часть инструментов платформы, так и все ее возможности.

💬 Про какие инструменты Платформы нам рассказать в следующий раз? Пишите свои пожелания в комментариях!

А больше информации про 10D можно узнать в канале @samolet_10D.

#строим

Измеряем «пульс» Kafka-консьюмера для автоматического перезапуска с помощью livenessProbe ❤️

Во многих наших инструментах мы используем Kafka для обработки потоков данных. В связке с Kubernetes это очень удобно и эффективно. За исключением моментов, когда Kafka-консьюмер зависает без ошибок или падений, но перестав обрабатывать сообщения. Отследить такое сложно, но можно.

Например, проблему можно решить с помощью livenessProbe, но в случае Kafka-консьюмеров единого способа для этого нет, что усложняет задачу. Сергей Коник нашел наиболее оптимальное решение этой задачи с помощью паттерна HeartBeat и Python. Благодаря периодической проверке «пульса» консьюмера мы можем быстро обнаружить зависание и автоматически перезагрузить контейнер с консьюмером.

О том, как пошагово реализовать такой механизм Сергей рассказал в новой статье. Заходите почитать!

#шерим