🔵 عنوان مقاله
SQLMesh, dbt, and Fivetran... What's Next? (5 minute read)
🟢 خلاصه مقاله:
فشرده‌سازی اخیر در اکوسیستم Modern Data Stack با تصاحب dbt توسط Fivetran و یکپارچه‌سازی‌های اخیر با Tobiko Data و Census نشان می‌دهد که لایه‌های ingestion، transformation، modeling و حتی activation به سمت تجمیع زیر چتر چند فروشنده محدود می‌روند. این روند می‌تواند کار را برای تیم‌ها ساده‌تر کند و به متادیتا، lineage، حاکمیت و صورتحساب یکپارچه بینجامد، اما ریسک‌هایی هم دارد: کوچک شدن سطح open-source و دورتر شدن قابلیت‌های dbt Core از dbt Fusion که می‌تواند به قفل‌شدن در فروشنده و تجربه‌های نامتوازن منجر شود. در این میان، ابزارهایی مثل SQLMesh با تأکید بر قابلیت اطمینان، تغییرات مبتنی‌بر plan و سازگاری با پروژه‌های dbt گزینه‌ای برای حفظ انعطاف‌پذیری و اجرای موازی یا مسیرهای مهاجرتی هستند. در آینده باید انتظار یکپارچگی بیشتر پلتفرمی و استانداردهای در حال تغییر را داشت. تیم‌ها بهتر است وابستگی‌های خود به dbt Core در برابر قابلیت‌های مدیریت‌شده را بسنجند، اصول قابل‌حمل بودن (قراردادهای داده، استانداردهای lineage، چک‌های CI/CD) را تعریف کنند، لایه‌های ذخیره‌سازی/محاسبات را از ارکستراسیون جدا نگه دارند و با گزینه‌هایی مانند SQLMesh آزمایش‌های هدفمند انجام دهند تا برای تغییرات پیش‌رو آماده باشند.
#ModernDataStack #dbt #Fivetran #DataEngineering #OpenSource #SQLMesh #AnalyticsEngineering
🟣لینک مقاله:
https://smallbigdata.substack.com/p/sqlmesh-dbt-and-fivetran-whats-next?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
SQLMesh, dbt, and Fivetran... What's Next? (5 minute read)
🟢 خلاصه مقاله:
فشرده‌سازی اخیر در اکوسیستم Modern Data Stack با تصاحب dbt توسط Fivetran و یکپارچه‌سازی‌های اخیر با Tobiko Data و Census نشان می‌دهد که لایه‌های ingestion، transformation، modeling و حتی activation به سمت تجمیع زیر چتر چند فروشنده محدود می‌روند. این روند می‌تواند کار را برای تیم‌ها ساده‌تر کند و به متادیتا، lineage، حاکمیت و صورتحساب یکپارچه بینجامد، اما ریسک‌هایی هم دارد: کوچک شدن سطح open-source و دورتر شدن قابلیت‌های dbt Core از dbt Fusion که می‌تواند به قفل‌شدن در فروشنده و تجربه‌های نامتوازن منجر شود. در این میان، ابزارهایی مثل SQLMesh با تأکید بر قابلیت اطمینان، تغییرات مبتنی‌بر plan و سازگاری با پروژه‌های dbt گزینه‌ای برای حفظ انعطاف‌پذیری و اجرای موازی یا مسیرهای مهاجرتی هستند. در آینده باید انتظار یکپارچگی بیشتر پلتفرمی و استانداردهای در حال تغییر را داشت. تیم‌ها بهتر است وابستگی‌های خود به dbt Core در برابر قابلیت‌های مدیریت‌شده را بسنجند، اصول قابل‌حمل بودن (قراردادهای داده، استانداردهای lineage، چک‌های CI/CD) را تعریف کنند، لایه‌های ذخیره‌سازی/محاسبات را از ارکستراسیون جدا نگه دارند و با گزینه‌هایی مانند SQLMesh آزمایش‌های هدفمند انجام دهند تا برای تغییرات پیش‌رو آماده باشند.
#ModernDataStack #dbt #Fivetran #DataEngineering #OpenSource #SQLMesh #AnalyticsEngineering
🟣لینک مقاله:
https://smallbigdata.substack.com/p/sqlmesh-dbt-and-fivetran-whats-next?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
SQLMesh, dbt and Fivetran... what's next?
A Turning Point for the Data Engineering Landscape
🔵 عنوان مقاله
Practical Guide to Semantic Layers: From Definition to Demo (10 minute read)
🟢 خلاصه مقاله:
این راهنمای ۱۰ دقیقه‌ای نشان می‌دهد «لایهٔ معنایی» چگونه با تعریف متمرکزِ متریک‌ها و ابعاد در YAML، محاسبات KPI را در همه ابزارها یکسان می‌کند. در یک دمو عملی، با استفاده از Boring Semantic Layer و موتور DuckDB/Ibis، همان متریک‌ها از طریق Python و Streamlit بدون دوباره‌نویسی منطق، نتایج یکسان تولید می‌کنند. نگهداری تعریف‌ها در YAML (همراه با نسخه‌بندی و تست) به حکمرانی بهتر، قابلیت بازتولید و جابه‌جایی ساده بین موتورهای اجرایی کمک می‌کند. در سطح اکوسیستم، ابزارهایی مانند dbt SL، Malloy و استاندارد OSI از Snowflake هم‌کنش‌پذیری را پیش می‌برند و به سمت یک قرارداد مشترک برای متریک‌ها حرکت می‌کنند.
#SemanticLayer #DataEngineering #AnalyticsEngineering #DuckDB #Ibis #dbt #Malloy #Snowflake
🟣لینک مقاله:
https://rasmusengelbrecht.substack.com/p/practical-guide-to-semantic-layers?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Practical Guide to Semantic Layers: From Definition to Demo (10 minute read)
🟢 خلاصه مقاله:
این راهنمای ۱۰ دقیقه‌ای نشان می‌دهد «لایهٔ معنایی» چگونه با تعریف متمرکزِ متریک‌ها و ابعاد در YAML، محاسبات KPI را در همه ابزارها یکسان می‌کند. در یک دمو عملی، با استفاده از Boring Semantic Layer و موتور DuckDB/Ibis، همان متریک‌ها از طریق Python و Streamlit بدون دوباره‌نویسی منطق، نتایج یکسان تولید می‌کنند. نگهداری تعریف‌ها در YAML (همراه با نسخه‌بندی و تست) به حکمرانی بهتر، قابلیت بازتولید و جابه‌جایی ساده بین موتورهای اجرایی کمک می‌کند. در سطح اکوسیستم، ابزارهایی مانند dbt SL، Malloy و استاندارد OSI از Snowflake هم‌کنش‌پذیری را پیش می‌برند و به سمت یک قرارداد مشترک برای متریک‌ها حرکت می‌کنند.
#SemanticLayer #DataEngineering #AnalyticsEngineering #DuckDB #Ibis #dbt #Malloy #Snowflake
🟣لینک مقاله:
https://rasmusengelbrecht.substack.com/p/practical-guide-to-semantic-layers?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
Practical Guide to Semantic Layers: From Definition to Demo (Part 1)
An introduction to semantic layers with a hands-on demo using the boring-semantic-layer library and a Streamlit app.