С ключом — партиция = murmur2(key) % число партиций: одинаковый ключ — всегда одна партиция и порядок. Без ключа — sticky partitioner: пачка уходит в одну партицию, следующая — в другую.
А ещё До Kafka 2.4 сообщения без ключа раскладывались round-robin по одному — хуже для пакетов
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Ключ задан — DefaultPartitioner считает murmur2(keyBytes) % numPartitions (по модулю положительного значения хеша). Все сообщения с одним ключом идут в одну партицию, поэтому сохраняется порядок событий сущности, и все её события обрабатывает один потребитель группы.
Ключа нет — с Kafka 2.4 работает sticky partitioner: продюсер заполняет пакет для одной партиции и переключается на другую, когда пакет отправлен. Пакеты получаются больше, задержка меньше, чем при раскладке по одному сообщению round-robin. С Kafka 3.3 — адаптивная версия, которая реже выбирает медленные брокеры.
Явно — указать номер партиции в ProducerRecord или реализовать свой Partitioner (например, выделить отдельные партиции для крупных клиентов).
Подводные камни:
sotto% N, события ключа начинают идти в другую партицию;Один верный вариант. Подумайте, потом откройте ответ.
Запись и сериализация, выбор партиции, батчинг и сжатие, acks и долговечность, идемпотентный producer и транзакции.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.