Мы создали собственную аналитическую платформу 🔑

Каждый день мы работаем с огромными массивами разнородной информации: финансовыми прогнозами, экономическими показателями, данными контрагентов и подрядчиков. Чтобы делать это эффективно, дирекция данных создала аналитическую платформу на базе Open Source и собственных разработок.

Мы применили на практике самую современную парадигму архитектур — LakeHouse. Она расширяет традиционную аналитику данных, сочетая гибкость озер с четкой структурой хранилищ. Это позволяет оптимизировать загрузку, обработку и анализ данных, а также обеспечивает изоляцию хранения от вычислений для облегчения масштабирования.

В итоге мы имеем возможность работать как с готовыми витринами, так и напрямую с качественными очищенными и описанными данными в озере.

Аналитическая платформа уже агрегирует информацию из 170+ мастер-систем и источников, превращая данные в ценный актив компании. На уровне LakeHouse мы обеспечиваем не только кросс-системность данных, но и обогащаем их и приводим к стандартам качества, а также описываем каждый атрибут данных в каталоге данных.

Для компании это был стратегически важный проект: не просто централизовать данные, но и сделать их пригодными для принятия управленческих решений. При этом мы реализовали ряд крупных проектов: осуществили переезд с облака в собственный ЦОД компании, мигрировали с Hadoop на S3, применили последние практики dataops и iac подход, развернули весь стек по работе с данными в Kubernetes, добились оптимизации хранения данных в 6 раз.

Хотите узнать больше? Ставьте 🔥

Что такое DevSecOps и зачем он нам нужен 🛡

DevSecOps — это подход, который делает безопасность неотъемлемой частью разработки программного обеспечения. Он объединяет разработку (Dev), безопасность (Sec) и эксплуатацию (Ops), позволяя выявлять и устранять уязвимости еще на ранних этапах.

Он помогает нам позаботиться о безопасности с самого начала, ускоряя работу и снижая риски благодаря автоматизации. Преимущества очевидны по нашему опыту: время на исправление уязвимостей сократилось на 40%, количество дефектов снизилось на 80%, а тесты безопасности покрывают до 90% кода!

Это достигается за счет слаженной работы наших команд: DevOps-инженеры автоматизируют процессы CI/CD, DevSecOps-специалисты внедряют инструменты анализа, а разработчики оперативно устраняют проблемы. Например, в наших пайплайнах безопасность проверяется на всех этапах — от статического анализа кода до мониторинга приложений с помощью WAF после развертывания.

Сегодня, когда киберугрозы растут, а скорость вывода продуктов на рынок критична, DevSecOps становится не просто трендом, а необходимостью. Он повышает качество ПО, снижает затраты и помогает бизнесу оставаться конкурентоспособным. А у вас применяется такой подход?

Поделитесь своим опытом внедрения и мнением о DevSecOps в комментариях!

#строим