Представляем инструмент мониторинга кластеров KafkaCompass. Рассмотрим функционал этого приложения - со слов его разработчиков.

https://nuancesprog.ru/p/17539/

VK: https://vk.com/@nuancesprog-ne-zabludites-pri-rabote-s-klasterami-kafka-vozmite-kompas

Дзен: https://dzen.ru/media/nuancesprog.ru/647e4ebe619e325cd9cd2506

@nuancesprog #Kafka

Сделаем легко масштабируемую систему с ML-алгоритмами для определения предпочтений пользователей. Заполним временну́ю шкалу, создадим тему, заведем задачу для получения и сохранения твитов из темы, проанализируем их с помощью тегирования.

https://nsprg.ru/mDEnax

VK: https://nsprg.ru/vGknVv

Дзен: https://nsprg.ru/mn6jWm

@nuancesprog #Golang #Kafka #MachineLearning

Для создания управляемых событиями, надежных и масштабируемых приложений часто используют Apache Kafka совместно с Spring Boot. Рассмотрим особенности такой интеграции.

https://nsprg.ru/vGkAyv

VK: https://nsprg.ru/mp9Pgx

Дзен: https://nsprg.ru/vqa8nv

@nuancesprog #Kafka #SpringBoot

Создадим простой проект Spring Boot с темами и разделами Kafka для публикации событий отправителями и подписки получателей. Разберем стратегии реализации повторных попыток, масштабируем микросервисы.

https://nsprg.ru/v3B1gx

VK: https://nsprg.ru/OoAe4x

Дзен: https://nsprg.ru/ONkBJm

@nuancesprog #SpringBoot #Kafka

Kafka - это распределенная платформа потоковой передачи событий с открытым исходным кодом, обеспечивающая высокую пропускную способность. Платформа позволяет передавать большие объемы данных с минимальной задержкой - вот в чем ее секрет.

https://nsprg.ru/mDRD4v

VK: https://nsprg.ru/OVN05O

Дзен: https://nsprg.ru/vGoRyv

@nuancesprog #Kafka

Разберем ключевой функционал и настройку Kafka и узнаем, как он вписывается в Spring Boot. Научимся маршрутизировать и фильтровать сообщения, отправлять и получать их с помощью шаблонов и листенеров Kafka, а также преобразовывать форматы пользовательских данных.

https://nsprg.ru/O5KM7x

VK: https://nsprg.ru/v3pMgO

Дзен: https://nsprg.ru/Oo1L4x

@nuancesprog #Kafka #SpringBoot

Настроим отправку события в темы Kafka с группами получателей, запустим службы заказов, хранения и платежей. Отправим HTTP-запросы, получение события проверим в консольных журналах.

https://nsprg.ru/vGoJnv

VK: https://nsprg.ru/mpBG1v

Дзен: https://nsprg.ru/vqYA8v

@nuancesprog #Kafka #SpringBoot

В реальном проекте валидации электронной почты проиллюстрируем потоковую передачу данных с отправителем и получением сообщений в теме Kafka для Cassandra и MongoDB. Наличие почты и пароля определим с помощью получателя и проверки данных.

https://nsprg.ru/mzVwbm

VK: https://nsprg.ru/xJkZLv

Дзен: https://nsprg.ru/mDRawv

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra

Проверим корректность данных, отправим письмо и сообщение в Slack с информацией об адресе почты и пароле. Объединим все части проекта, создадим и запустим DAG Airflow со всеми задачами.

https://nsprg.ru/OKwV6O

VK: https://nsprg.ru/mWNYPO

Дзен: https://nsprg.ru/O5KL4x

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra

Обработка пакетных данных в режиме реального времени - одна из наиболее сложных задач. Каждый этап, от доставки и обработки данных до их анализа, занимает определенное время. К счастью, для устранения этих задержек есть такие инструменты, как Apache Kafka, Flink и Druid.

https://nsprg.ru/m00ELm

VK: https://nsprg.ru/ONLV0x

Дзен: https://nsprg.ru/mrpN8v

@nuancesprog #Apache #Kafka #Flink #Druid

Мгновенный обмен сообщениями необходим в приложениях социальных сетей, инструментах совместной работы и платформах прямых трансляций. При этом значительно улучшается взаимодействие между пользователями. Рассмотрим создание приложения для чата, используя Spring Boot, Kafka и WebSocket.

https://nsprg.ru/xR26Ex

VK: https://nsprg.ru/xe2jyv

@nuancesprog #SpringBoot #Kafka #WebSocket

Создадим простой, но функциональный конвейер, подробно рассмотрим каждый его компонент: от настройки Kafka для потоковой передачи данных и оркестрации задач с Airflow до обработки данных со Spark и их сохранения в PostgreSQL. Сделаем акцент на практическом применении инструментов с Docker.

https://nsprg.ru/vg9qWm

VK: https://nsprg.ru/v2KNqO

@nuancesprog #Kafka #Spark #Airflow #PostgreSQL #Docker

Что такое «плавная миграция», в чем ее сложность и основные проблемы? Подробно разберем подход стратегии миграции на уровне брокеров объединенного кластера.

https://nsprg.ru/mrYy4O

VK: https://nsprg.ru/O4KVQv

@nuancesprog #Kafka #Kubernetes

Подробно рассмотрим сценарии, чреватые появлением дублей, и различные подходы для их недопущения. Как этими подходами реализуются решения этой проблемы?

https://nsprg.ru/OoYB6x

VK: https://nsprg.ru/Obk7em

@nuancesprog #Kafka

Опишем все службы, настроим и сконфигурируем каждый компонент, обозначив их роли и особенности. Конфигурации снабдим пояснениями, выделив преимущества и недостатки.

https://nsprg.ru/mwYoav

VK: https://nsprg.ru/vL5l2O

@nuancesprog #Docker #PostgreSQL #MongoDB #Kafka #Debezium

Усовершенствуем процесс развертывания, перейдя от Redis к локальному хранению данных. Интегрируем RocksDB в код, сделаем схему хранения данных. Попутно решим проблему устаревших данных, преодолеем трудности работы с обновлениями Kafka, разберемся с утечкой памяти.

https://nsprg.ru/mwZR6O

VK: https://nsprg.ru/vLdJ5v

@nuancesprog #RocksDB #Redis #Kafka