С несколькими запросами в полёте пакет 1 может упасть и уйти на повтор, а пакет 2 уже записан — порядок нарушен. Идемпотентный продюсер сохраняет порядок при max.in.flight ≤ 5 за счёт номеров последовательности.
А ещё Порядок всё равно только внутри партиции
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Механика проблемы: первый батч упал по таймауту и ушёл в повтор, второй тем временем записался — итоговый порядок в партиции перевернулся. Исторически лечили ограничением до одного запроса в полёте, что резало пропускную способность. Идемпотентный producer снимает компромисс: брокер отслеживает идентификатор producer и номер последовательности для каждой партиции, отбрасывает дубли и отвергает записи, пришедшие не по порядку, поэтому несколько запросов в полёте остаются безопасными. Полезно помнить и границы гарантии: порядок и дедупликация действуют в пределах партиции и сессии producer, а не глобально по топику.
Один верный вариант. Подумайте, потом откройте ответ.
Запись и сериализация, выбор партиции, батчинг и сжатие, acks и долговечность, идемпотентный producer и транзакции.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto