Получить доступ

Чем session.timeout.ms отличается от max.poll.interval.ms у Kafka consumer-а?

SeniorKafka в эксплуатацииKafka
Ещё спрашивают так:
  • Почему потребитель выпадает из группы при долгой обработке?
Коротко

session.timeout.ms — сколько ждать heartbeat от фонового потока: ловит «мёртвый» процесс. max.poll.interval.ms — максимум времени между вызовами poll(): ловит «живой, но застрявший» в обработке.

  • Долгая обработка пачки > max.poll.interval.ms (5 мин) — потребитель исключается, ребаланс, повторная обработка
  • Лечение: меньше max.poll.records, быстрее обработка, увеличить интервал, вынести долгие задачи
  • Heartbeat идёт в отдельном потоке — живой процесс не выпадет по session.timeout

А ещё Признак проблемы — бесконечные ребалансы и повторная обработка тех же сообщений

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Heartbeat-поток шлёт сигналы «я жив» отдельно от обработки; если их нет дольше session.timeout.ms — группа считает consumer упавшим и запускает rebalance. Но даже при живых heartbeat consumer обязан регулярно звать poll(): если обработка одной пачки заняла больше max.poll.interval.ms, брокер решает, что consumer завис, и исключает его из группы (тоже rebalance, плюс возможные дубли). Поэтому медленную обработку лечат уменьшением max.poll.records или выносом работы, а не раздуванием таймаутов.

Что хотят услышать

  • Различие двух таймаутов и что каждый обнаруживает.
  • Симптомы и лечение долгой обработки.

Частые ошибки

  • Думать, что heartbeat продлевается обработкой (он независим).
  • Ставить огромный max.poll.interval.ms вместо уменьшения размера пачки.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✓session.timeout.ms — за какое время без heartbeat группа сочтёт consumer мёртвым; max.poll.interval.ms — максимум между вызовами poll(), за который должна уложиться обработка пачки, иначе consumer исключается из группы
  • ✗Это синонимы, просто разные имена одной настройки
  • ✗session.timeout.ms — таймаут запроса к брокеру, max.poll.interval.ms — размер пачки
  • ✗Оба определяют, сколько хранятся сообщения в топике

Что спросят дальше

  • Что произойдёт при превышении max.poll.interval.ms?
  • Как уменьшить риск долгой обработки?

Разбор темы

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем