Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
How we orchestrate 2000+ DBT models in Apache Airflow | by Alexandre Magno Lima Martins | Apache Airflow | Medium
Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных.
Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей.
Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow.
https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d
Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных.
Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей.
Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow.
https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d
Medium
How we orchestrate 2000+ DBT models in Apache Airflow
In recent years, DBT (Data Build Tool) has established itself as the go-to data transformation workflow, connecting to a variety of…
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
How I Built This Data Platform in One Week | by Dorian Teffo | DataDrivenInvestor
Airflow + Cosmos + DBT
https://medium.datadriveninvestor.com/how-i-built-this-data-platform-in-one-week-13b457d7c323
https://medium.datadriveninvestor.com/how-i-built-this-data-platform-in-one-week-13b457d7c323
Medium
How I Built This Data Platform in One Week
This will certainly be my longest project (and the most expensive, so please like and comment), as well as my longest blog post. But…
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
How we orchestrate 2000+ DBT models in Apache Airflow | by Alexandre Magno Lima Martins | Apache Airflow | Medium
Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных.
Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей.
Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow.
https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d
Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных.
Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей.
Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow.
https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d
Medium
How we orchestrate 2000+ DBT models in Apache Airflow
In recent years, DBT (Data Build Tool) has established itself as the go-to data transformation workflow, connecting to a variety of…
Do you have a Kimball mart and wonder how to add Data Vault as enterprise DW?
This brilliant article by Patrick Cuba is a gold mine for that. From landing, staging, and autonomous loader for hub, link and sat. Test automation, point-in-time (PIT) and finally the data mart. Only need 10 mins of your time to go through those important concepts. Create data pipeline on Snowflake using Stream and Task. Go on, you do want to know that right? Click here: https://lnkd.in/eHpb5n7B
Even if you build your Data Vault on Databricks you'll still learn a lot from this.
Thank you Patrick for writing this.
This brilliant article by Patrick Cuba is a gold mine for that. From landing, staging, and autonomous loader for hub, link and sat. Test automation, point-in-time (PIT) and finally the data mart. Only need 10 mins of your time to go through those important concepts. Create data pipeline on Snowflake using Stream and Task. Go on, you do want to know that right? Click here: https://lnkd.in/eHpb5n7B
Even if you build your Data Vault on Databricks you'll still learn a lot from this.
Thank you Patrick for writing this.
lnkd.in
LinkedIn
This link will take you to a page that’s not on LinkedIn
Forwarded from Yandex Cloud
Шахматы — наша новогодняя тема: точные ходы и продуманные стратегии вдохновляют команду Yandex Cloud на новые достижения.
Подобно гроссмейстерам мы продолжаем расти и развивать бизнес, помогаем клиентам и партнёрам становиться сильными фигурами на рынке, а разработчикам создавать новые технологии и делать выигрышные ходы в работе и жизни.
В карточках мы провели параллель между итогами года и шахматными рекордами, а все подробности читайте в нашем блоге по ссылке.
#yacloud_news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Yandex Cloud
This media is not supported in your browser
VIEW IN TELEGRAM
В последний рабочий день этого года предлагаем вспомнить главные ИТ-события уходящего 2024 вместе с участниками подкаста Monthly Cloud News. Итоговый эпизод подкаста мы записали вместе с вами в онлайне. Публикуем выпуск специально для тех, кто пропустил прямой эфир.
В этом эпизоде:
Смотреть и слушать выпуск:
#yacloud_podcasts
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Yandex Cloud
Наш CPO в команде SourceCraft Денис Макрушин поделился коллекцией атак на GitHub-разработчиков в 2024 году. В статье он рассказал, какие ошибки могут привести к уязвимостям, связанным с платформой разработки, а также как от них защититься.
Поиск секретов в git-коммитах, распространение вредоносного кода через комментарии, доступ к данным из удалённых или приватных репозиториев — об этом и идёт речь в статье. Целая коллекция чужих примеров и ошибок, на которых учиться лучше, чем на своих.
#yacloud_articles
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Inside Yandex Cloud
This media is not supported in your browser
VIEW IN TELEGRAM
Кто такой разработчик Serverless?
В новом выпуске «Как мы делаем Yandex Cloud» погрузились в тему Serverless-решений. Сергей Ненашев, старший разработчик Serverless Computing Core, поделился впечатлениями от онбординга в команду. Рассказал о своём первом коммите и релизе, чем занимается разработчик Serverless, и какие компетенции ему для этого нужны.
📎 Смотрите на YouTube, Rutube и VK Видео
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе
В новом выпуске «Как мы делаем Yandex Cloud» погрузились в тему Serverless-решений. Сергей Ненашев, старший разработчик Serverless Computing Core, поделился впечатлениями от онбординга в команду. Рассказал о своём первом коммите и релизе, чем занимается разработчик Serverless, и какие компетенции ему для этого нужны.
📎 Смотрите на YouTube, Rutube и VK Видео
📎 Слушайте на Яндекс Музыке
📎 Или на любой удобной подкаст-платформе