Как и зачем писать свой DatabaseDialect для Kafka JDBC Sink

Я активно использую на проекте Kafka Connect Framework и в частности Kafka JDBC Sink Connector для быстрого сохранения данных из Kafka Topic в БД PostgresSQL. Для большинства задач достаточно написать простую JSON-конфигурацию и все стабильно и быстро работает из коробки. Нет необходимости в написании собственного кода. Однако в нетиповых ситуациях расширяемость Kafka Connect тоже помогает - можно переопределить и написать один из компонентов.

В конфигурации JDBC Sink Connector Task существует настройка dialect.name, которая отвечает за выбор диалекта для работы с конкретной БД. Как правило, в 99% случаев используется один из уже реализованных для популярных БД диалектов, как например в моем случае PostgresSqlDatabaseDialect для PostgreSQL.

Может показаться, что вряд ли кому-то понадобится реализовывать свой диалект, если только не имеем дело с какой-то специфичной непопулярной БД. Однако на практике оказалось, что реализация своего диалекта даже для PostgreSQL может быть полезна для решения некоторых возникающих прикладных задач.

В данной статье автор хочет показать идеи того, как реализация своего DatabaseDialect может помочь при имплементации нестандартных сценариев для вполне себе популярной БД Postgres, для которой существует PostgresSqlDatabaseDialect.

👉 Java Portal

Spring Boot: ты можешь валидировать входные DTO через @Valid плюс аннотации вроде @NotBlank, @Email и т.д.

public class RegistrationRequest {

    @Email(message = "Please provide a valid email address")
    @NotBlank(message = "Email is required")
    private String email;

    @Size(min = 8, max = 16, message = "Password must be 8–16 characters long")
    private String password;

    @Pattern(
        regexp = "^[0-9]{10,15}$",
        message = "Phone number must be 10–15 digits"
    )
    private String phone;

    // getters & setters
}

By Default, if the validation fails Spring automatically returns a 400 Bad Request with a detailed error body like:

{
  "timestamp": "2025-01-01T12:00:00Z",
  "status": 400,
  "errors": [
    "Email is required",
    "Age must be at least 18"
  ]
}

You can customize the response by implementing a global exception handler

👉 Java Portal

Аннотации Spring Boot, которые нужно знать

👉 Java Portal

Java-совет: начиная с Java 11, лучше использовать String.strip() вместо trim(), потому что он корректно обрабатывает Unicode-пробелы.

❌Поскольку trim() не обрабатывает некоторые типы пробельных символов, определённых в Unicode, он может оставлять неожиданные символы.

✅String.strip() использует Character.isWhitespace(int codePoint) для определения пробелов. Этот метод следует полному стандарту Unicode для пробельных символов, а не только ASCII, и удаляет все виды пробелов.

Пример:

String text = "\u2003Hello World\u2003";
System.out.println("trim(): [" + text.trim() + "]");
System.out.println("strip(): [" + text.strip() + "]");

Смысл сохранён полностью: trim() ограничен ASCII, strip() работает по Unicode-правилам и ведёт себя ожидаемо.

👉 Java Portal

Недавно открыл для себя learn.java — официальный сайт от Oracle для изучения Java. Здесь всё чётко и по делу 😈

> Установка JDK и настройка IDE
> Пошаговые уроки по основам Java
> Практические задания в онлайн-редакторе
> Мини-проекты для закрепления знаний
> Дополнительные ресурсы для углубленного обучения

Плюс — есть Java Playground, где можно писать и запускать код прямо в браузере, без лишних установок

👉 Java Portal

Spring Boot: аккуратно задавайте границы @ComponentScan, чтобы случайно не сканировать целые пакеты целиком.

👉 Java Portal

Следуешь DDD и подходу model-first в Spring Data JDBC? Писать миграции Flyway или Liquibase руками и держать в голове синтаксис каждой конкретной БД — утомительно и легко накосячить.

IntelliJ IDEA позволяет генерировать миграции напрямую из ваших сущностей.

Подробнее: https://jb.gg/b8o1hq

👉 Java Portal

Java-совет: используй WeakHashMap для кэширования в случаях, когда ключи мапы без внешних ссылок должны автоматически удаляться сборщиком мусора.

❌В HashMap, пока сама мапа существует, ключи и связанные с ними значения не будут удалены сборщиком мусора.

✅В WeakHashMap ключи хранятся через weak-ссылки. Если на ключ больше нет strong-ссылок в других местах программы, GC может его собрать, и он будет автоматически удалён из мапы.

Пример:

Map<User, String> map = new WeakHashMap<>();

User u1 = new User("Mick");
map.put(u1, "Cached data");
...
u1 = null;

// С этого момента ключ u1 может быть удалён сборщиком мусора.

👉 Java Portal

От базовых до продвинутых программ на Java

39 программ на Java, каждая из которых решает отдельную задачу, включая разворот строки, проверку на палиндром, генерацию чисел Фибоначчи, вычисление факториала, проверку простого числа, сортировку массива, удаление дубликатов, поиск наибольшего элемента, и многое другое

👉 Java Portal

Spring Boot: для отправки писем можно использовать spring-boot-starter-mail.

✅ Он включает всю необходимую конфигурацию и зависимости, благодаря чему отправка почты становится простой и понятной.

Добавь зависимость:

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-mail</artifactId>
</dependency>

Настрой почтовые параметры в application.properties (или application.yml):

spring.mail.host=smtp.gmail.com
spring.mail.port=587
[email protected]
spring.mail.password=my_password
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true

Используй JavaMailSender в коде:

@Autowired
private JavaMailSender mailSender;

public void sendEmail(String to, String subject, String text) {
    SimpleMailMessage message = new SimpleMailMessage();
    message.setTo(to);
    message.setSubject(subject);
    message.setText(text);
    message.setFrom("[email protected]");

    mailSender.send(message);
}

👉 Java Portal

CodingBat Java: это сайт с интерактивными задачами по Java

👉 Java Portal

бэкенд-разработчики после написания 4 строк CSS.

👉 Java Portal

Java-совет: используй ThreadLocal.withInitial(...), чтобы каждому потоку задавать своё безопасное значение по умолчанию.

Значение создаётся лениво (только при первом обращении).

👉 Java Portal