Партиции топика делятся между участниками группы: каждая партиция в группе читается ровно одним потребителем. Добавили потребителя — партиции перераспределились.
А ещё Число партиций закладывают с запасом: увеличение потом меняет распределение ключей
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Как работает. Потребители с одинаковым group.id образуют группу. Координатор группы на брокере назначает каждому подмножество партиций (стратегии range, round-robin, sticky, cooperative-sticky). Каждая партиция — ровно одному потребителю группы, и он обрабатывает её сообщения по порядку.
Масштабирование:
Несколько групп — механизм pub/sub: сервис уведомлений и сервис аналитики читают тот же топик своими группами, каждая получает всё.
Ребаланс при изменении состава группы приостанавливает обработку; cooperative-sticky переназначает только нужные партиции.
Выбор числа партиций: по целевой пропускной способности (пропускная способность топика / пропускная способность одного потребителя) с запасом на рост.
Один верный вариант. Подумайте, потом откройте ответ.
Группа и распределение партиций, poll-цикл, heartbeat и таймауты, модели commit offset, ребаланс и роль идемпотентности.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto