🔵 عنوان مقاله
pgstream: Postgres Replication with DDL Changes
🟢 خلاصه مقاله:
اpgstream یک ابزار CDC مبتنی بر Go است که تغییرات Postgres را به‌صورت بلادرنگ، همراه با تغییرات DDL، به مقصدهایی مانند یک پایگاه‌داده Postgres دیگر، Elasticsearch/OpenSearch یا یک webhook تکرار می‌کند. این ابزار هم به شکل CLI و هم به‌صورت کتابخانه ارائه می‌شود و علاوه بر تغییرات داده، تغییرات طرحواره را نیز منتقل می‌کند تا سیستم‌های مقصد با تکامل اسکیمای مبدأ همگام بمانند. نتیجه، همگام‌سازی ساده‌تر برای جست‌وجو، آنالیتیکس و معماری‌های رویدادمحور است. جزئیات و مثال‌ها در بلاگ‌پست مرتبط ارائه شده است.
#Postgres #CDC #Go #Replication #DDL #Elasticsearch #OpenSearch #DataEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/174473/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgstream: Postgres Replication with DDL Changes
🟢 خلاصه مقاله:
اpgstream یک ابزار CDC مبتنی بر Go است که تغییرات Postgres را به‌صورت بلادرنگ، همراه با تغییرات DDL، به مقصدهایی مانند یک پایگاه‌داده Postgres دیگر، Elasticsearch/OpenSearch یا یک webhook تکرار می‌کند. این ابزار هم به شکل CLI و هم به‌صورت کتابخانه ارائه می‌شود و علاوه بر تغییرات داده، تغییرات طرحواره را نیز منتقل می‌کند تا سیستم‌های مقصد با تکامل اسکیمای مبدأ همگام بمانند. نتیجه، همگام‌سازی ساده‌تر برای جست‌وجو، آنالیتیکس و معماری‌های رویدادمحور است. جزئیات و مثال‌ها در بلاگ‌پست مرتبط ارائه شده است.
#Postgres #CDC #Go #Replication #DDL #Elasticsearch #OpenSearch #DataEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/174473/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - xataio/pgstream: PostgreSQL replication with DDL changes
PostgreSQL replication with DDL changes. Contribute to xataio/pgstream development by creating an account on GitHub.
🔵 عنوان مقاله
How to Build Real-Time Apache Kafka® Dashboards That Drive Action (10 minute read)
🟢 خلاصه مقاله:
داشبوردهای بلادرنگ با تکیه بر Apache Kafka به‌عنوان هاب یکپارچه‌سازی ساخته می‌شوند؛ داده‌های جاری از منابعی مانند PostgreSQL و Snowflake وارد Kafka می‌شوند، سپس با پردازشگرهایی مثل Kafka Streams، ksqlDB یا Apache Flink تبدیل، غنی‌سازی و تجمیع شده و به صورت materialized view ذخیره می‌شوند. این خروجی‌ها بسته به الگوی دسترسی، یا به‌صورت read-optimized view برای پرس‌وجوهای سریع، یا به شکل ایندکس‌های جست‌وجویی در Elasticsearch برای فیلتر و جست‌وجوی پیشرفته، و حتی به‌صورت state تعبیه‌شده در خود اپلیکیشن برای کمترین تأخیر ارائه می‌گردند. چنین معماری امکان ساخت داشبوردهایی را می‌دهد که فقط گزارش نمی‌دهند، بلکه با به‌روزرسانی لحظه‌ای، نمایش KPIهای حیاتی و راه‌اندازی هشدارها و اقدام‌های خودکار، مستقیماً به تصمیم و عمل منجر می‌شوند.
#ApacheKafka #RealTimeAnalytics #StreamingData #KafkaStreams #ksqlDB #ApacheFlink #Elasticsearch #Dashboards
🟣لینک مقاله:
https://www.confluent.io/blog/build-real-time-kafka-dashboards/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How to Build Real-Time Apache Kafka® Dashboards That Drive Action (10 minute read)
🟢 خلاصه مقاله:
داشبوردهای بلادرنگ با تکیه بر Apache Kafka به‌عنوان هاب یکپارچه‌سازی ساخته می‌شوند؛ داده‌های جاری از منابعی مانند PostgreSQL و Snowflake وارد Kafka می‌شوند، سپس با پردازشگرهایی مثل Kafka Streams، ksqlDB یا Apache Flink تبدیل، غنی‌سازی و تجمیع شده و به صورت materialized view ذخیره می‌شوند. این خروجی‌ها بسته به الگوی دسترسی، یا به‌صورت read-optimized view برای پرس‌وجوهای سریع، یا به شکل ایندکس‌های جست‌وجویی در Elasticsearch برای فیلتر و جست‌وجوی پیشرفته، و حتی به‌صورت state تعبیه‌شده در خود اپلیکیشن برای کمترین تأخیر ارائه می‌گردند. چنین معماری امکان ساخت داشبوردهایی را می‌دهد که فقط گزارش نمی‌دهند، بلکه با به‌روزرسانی لحظه‌ای، نمایش KPIهای حیاتی و راه‌اندازی هشدارها و اقدام‌های خودکار، مستقیماً به تصمیم و عمل منجر می‌شوند.
#ApacheKafka #RealTimeAnalytics #StreamingData #KafkaStreams #ksqlDB #ApacheFlink #Elasticsearch #Dashboards
🟣لینک مقاله:
https://www.confluent.io/blog/build-real-time-kafka-dashboards/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Confluent
How to Build Real-Time Apache Kafka® Dashboards That Drive Action
Learn to design real-time Apache Kafka® dashboards that drive instant business action, not just data visualization. Explore architecture, data modeling and examples.
🔵 عنوان مقاله
PGSync 5.0: Postgres to ElasticSearch/OpenSearch Syncing
🟢 خلاصه مقاله:
PGSync 5.0 یک میان‌افزار برای همگام‌سازی داده‌های Postgres با ElasticSearch/OpenSearch است. این ابزار تغییرات دیتابیس را به‌صورت لحظه‌ای دریافت می‌کند و آن‌ها را به اسناد ساخت‌یافته JSON تبدیل کرده و در ایندکس‌های جست‌وجو می‌نویسد. هدف آن کاهش پیچیدگی ETL سفارشی، پایداری و تاخیر پایین در به‌روزرسانی ایندکس‌ها است. PGSync از الگوهایی مثل backfill اولیه، استریم تغییرات، denormalization، نگاشت انعطاف‌پذیر جدول‌به‌سند و upsertهای idempotent پشتیبانی می‌کند. در نسخه ۵ تمرکز بر کارایی، سادگی پیکربندی و سازگاری یکپارچه با ElasticSearch و OpenSearch است تا مسیر پایدار و سریعی از جدول‌های Postgres به اسناد قابل جست‌وجو فراهم شود.
#PGSync #Postgres #ElasticSearch #OpenSearch #CDC #SearchIndexing #DataSync #RealTime
🟣لینک مقاله:
https://postgresweekly.com/link/175730/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PGSync 5.0: Postgres to ElasticSearch/OpenSearch Syncing
🟢 خلاصه مقاله:
PGSync 5.0 یک میان‌افزار برای همگام‌سازی داده‌های Postgres با ElasticSearch/OpenSearch است. این ابزار تغییرات دیتابیس را به‌صورت لحظه‌ای دریافت می‌کند و آن‌ها را به اسناد ساخت‌یافته JSON تبدیل کرده و در ایندکس‌های جست‌وجو می‌نویسد. هدف آن کاهش پیچیدگی ETL سفارشی، پایداری و تاخیر پایین در به‌روزرسانی ایندکس‌ها است. PGSync از الگوهایی مثل backfill اولیه، استریم تغییرات، denormalization، نگاشت انعطاف‌پذیر جدول‌به‌سند و upsertهای idempotent پشتیبانی می‌کند. در نسخه ۵ تمرکز بر کارایی، سادگی پیکربندی و سازگاری یکپارچه با ElasticSearch و OpenSearch است تا مسیر پایدار و سریعی از جدول‌های Postgres به اسناد قابل جست‌وجو فراهم شود.
#PGSync #Postgres #ElasticSearch #OpenSearch #CDC #SearchIndexing #DataSync #RealTime
🟣لینک مقاله:
https://postgresweekly.com/link/175730/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Pgsync
PGSync - PGSync
PGSync simplifies your data pipeline by integrating Postgres/MySQL/MariaDB into Elasticsearch/OpenSearch.