Kafka Connect — платформа для типовых интеграций: source-коннекторы из баз и систем в Kafka, sink-коннекторы из Kafka в хранилища. Масштабирование, хранение позиций, перезапуск и обработка ошибок — из коробки, вы пишете конфигурацию.
А ещё Свой сервис нужен для сложной бизнес-логики, а не для переливки данных
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Задача перекладывания данных выглядит простой, пока не начинаешь считать, что придётся реализовать самому: отслеживание позиции чтения, корректный перезапуск после сбоя, распределение работы между экземплярами, обработку ошибок, преобразование форматов и мониторинг. Connect предоставляет всё это как платформу, а коннекторы к популярным системам уже написаны. Самый заметный пример — Debezium, читающий журнал базы и превращающий изменения строк в события, то есть готовая реализация захвата изменений. Разумная граница применения: типовые интеграции по конфигурации — Connect, сложная бизнес-логика преобразования — собственный сервис или Kafka Streams.
Один верный вариант. Подумайте, потом откройте ответ.
Клиентские API, Kafka Connect и Debezium, Streams и stream-processing, ksqlDB, Schema Registry и MirrorMaker для multi-DC.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto