Хватит использовать Pandas, пора переходить на Spark + Scala!

Почему data-специалистам стоит задуматься о переходе с Pandas на Spark и Scala? В чём преимущества этого дуэта и так ли сложно в итоге на него переучиться? Разбираем по полочкам.

https://nuancesprog.ru/p/8613

@nuancesprog #статьи #Apache #Scala #Spark

Создадим простой, но функциональный конвейер, подробно рассмотрим каждый его компонент: от настройки Kafka для потоковой передачи данных и оркестрации задач с Airflow до обработки данных со Spark и их сохранения в PostgreSQL. Сделаем акцент на практическом применении инструментов с Docker.

https://nsprg.ru/vg9qWm

VK: https://nsprg.ru/v2KNqO

@nuancesprog #Kafka #Spark #Airflow #PostgreSQL #Docker

Настроим все необходимые службы и компоненты, в том числе оркестратор конвейера данных и SQL-движок, инициируем сеанс Spark для Apache-форматов Iceberg и Delta и выполним простой ETL-процесс. Заложим основу для более сложных конвейеров.

https://nsprg.ru/v2nggv

VK: https://nsprg.ru/OZENAv

@nuancesprog #DataLake #Docker #Mage #MinIO #Spark #ApacheIceberg