Get Rejected

На очередном проект мне пришлось внедрять dbt снова.
В этот раз делал интеграцию между dbt и TimescaleDB.
Немного поясню, что такое TimescaleDB - это плагин(extension) для PostgreSQL, который включает в себя инструментарий для работы с Time-series данными ( иначе говоря с финансовыми/ метрическими данными). У этой БД есть несколько своих особенностей, в которых пока я еще не до конца разобрался, но выделил уже те, которые мне точно пригодятся.

Отличительные особенности:
1. Наличие Hypertable таблиц. Они служат прежде всего для быстрого ingest'а time-series даты, которые могут сегментировать и разбивать данные на временные интервалы.
2. Continuous aggregates (непрерывные агрегаты) - это в принципе основное зачем нужно это расширение. Непрерывный агрегат это надстройка над mat.view, которая позволяет обновлять данные сегментно, не перестраивая полностью мат. представление без необходимости. Вы можете задать политики обновления этого представления и она автоматически будет добавлять новые данные сегментно (по частям).

Окей, хорошо мы поняли что такое TimescaleDB.

А что там по DBT?

Когда начал внедрять словил сразу пару странных моментов:
1. Во-первых, я словил ошибку, что он не находит мои функции, которые есть в extension TimescaleDB. Это я исправил добавив, search path

profile.yml
      schema: public
      search_path: "analytics, public"

2. Во-вторых, когда начал проектировать модель она начала жаловаться что нету обязательного поля bucket по которому можно агрегировать (добавил), после он мне запретил использовать некоторые функции попадающие по определению "HINT: Make sure all functions in the continuous aggregate definition have IMMUTABLE volatility. Note that functions or expressions may be IMMUTABLE for one data type, but STABLE or VOLATILE for another."
(примеры: last(), now() и прочие)

dbt
{{
  config(
    materialized='continuous_aggregate')
}}

SELECT
    count(1),
  analytics.time_bucket('1 hour', created_at) AS bucket
FROM hyper_table
GROUP BY bucket

После исправления, у меня все заработало.

В основном много потратил времени на поиск, как добавить search_path, чтобы функции вызывались корректно.

Дальше буду разбираться, как более эффективно хранить данные по сегментам, как динамически создавать material view на основе входящих параметров и прочего.

👍14❤6🎉1💅1

1.57K views07:59