Настроим все необходимые службы и компоненты, в том числе оркестратор конвейера данных и SQL-движок, инициируем сеанс Spark для Apache-форматов Iceberg и Delta и выполним простой ETL-процесс. Заложим основу для более сложных конвейеров.

https://nsprg.ru/v2nggv

VK: https://nsprg.ru/OZENAv

@nuancesprog #DataLake #Docker #Mage #MinIO #Spark #ApacheIceberg

Подробно разберем принцип работы, изучим внутренние механизмы Apache Iceberg, поэкспериментируем с этим файловым форматом и PySpark, PyIceberg, каталогом Nessie.

https://nsprg.ru/ONwY1m

VK: https://nsprg.ru/mrAJWO

@nuancesprog #ApacheIceberg