Лишние потребители простаивают: одна партиция в группе читается только одним потребителем, поэтому параллелизм группы не больше числа партиций.
А ещё Kafka Queues (KIP-932, share groups) снимают это ограничение для очередной модели
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Координатор группы назначает каждую партицию одному участнику. Если участников больше, чем партиций, части из них не достаётся ничего: они подключены, шлют heartbeat, но не получают сообщений. При падении работающего потребителя один из простаивающих подхватит его партиции — это горячий резерв, но не ускорение.
Как увеличить пропускную способность:
sottohash(key) % N и нарушает порядок для существующих ключей на время перехода;Share groups (KIP-932, Kafka 4.x) — новая модель, где несколько потребителей читают одну партицию с подтверждением отдельных сообщений — очередная семантика без жёсткой привязки.
Один верный вариант. Подумайте, потом откройте ответ.
Группа и распределение партиций, poll-цикл, heartbeat и таймауты, модели commit offset, ребаланс и роль идемпотентности.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.