auto.offset.reset действует, только когда у группы нет сохранённого offset (новая группа или offset удалён по сроку). earliest — читать с самого раннего доступного, latest — только новые, none — ошибка.
А ещё Перемотка вручную — kafka-consumer-groups.sh --reset-offsets
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Группа потребителей хранит свою позицию в __consumer_offsets. При старте потребитель продолжает с сохранённого offset. Настройка auto.offset.reset нужна для случаев, когда позиции нет:
sottooffsets.retention.minutes (по умолчанию 7 дней);Значения:
earliest — начать с самого старого доступного сообщения (вся история в пределах хранения);latest (по умолчанию) — начать с конца: обрабатывать только новые;none — бросить исключение, пусть решает приложение.Ловушка: новый сервис с latest запускается после того, как события уже пошли, — и пропускает их. Для сервисов, которым важны все события, — earliest и идемпотентная обработка. Наоборот, для «живых» уведомлений старые события не нужны.
Ручная перемотка — kafka-consumer-groups --reset-offsets --to-datetime или --to-earliest при остановленной группе, например чтобы перечитать события после исправления бага.
Один верный вариант. Подумайте, потом откройте ответ.
Группа и распределение партиций, poll-цикл, heartbeat и таймауты, модели commit offset, ребаланс и роль идемпотентности.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.