Создадим простой, но функциональный конвейер, подробно рассмотрим каждый его компонент: от настройки Kafka для потоковой передачи данных и оркестрации задач с Airflow до обработки данных со Spark и их сохранения в PostgreSQL. Сделаем акцент на практическом применении инструментов с Docker.

https://nsprg.ru/vg9qWm

VK: https://nsprg.ru/v2KNqO

@nuancesprog #Kafka #Spark #Airflow #PostgreSQL #Docker

Что такое «плавная миграция», в чем ее сложность и основные проблемы? Подробно разберем подход стратегии миграции на уровне брокеров объединенного кластера.

https://nsprg.ru/mrYy4O

VK: https://nsprg.ru/O4KVQv

@nuancesprog #Kafka #Kubernetes

Подробно рассмотрим сценарии, чреватые появлением дублей, и различные подходы для их недопущения. Как этими подходами реализуются решения этой проблемы?

https://nsprg.ru/OoYB6x

VK: https://nsprg.ru/Obk7em

@nuancesprog #Kafka

Опишем все службы, настроим и сконфигурируем каждый компонент, обозначив их роли и особенности. Конфигурации снабдим пояснениями, выделив преимущества и недостатки.

https://nsprg.ru/mwYoav

VK: https://nsprg.ru/vL5l2O

@nuancesprog #Docker #PostgreSQL #MongoDB #Kafka #Debezium

Усовершенствуем процесс развертывания, перейдя от Redis к локальному хранению данных. Интегрируем RocksDB в код, сделаем схему хранения данных. Попутно решим проблему устаревших данных, преодолеем трудности работы с обновлениями Kafka, разберемся с утечкой памяти.

https://nsprg.ru/mwZR6O

VK: https://nsprg.ru/vLdJ5v

@nuancesprog #RocksDB #Redis #Kafka