Получить доступ

Что показывает метрика consumer lag?

JuniorKafka в эксплуатацииKafka
Ещё спрашивают так:
  • Что такое consumer lag?
Коротко

Lag — разница между последним записанным offset и зафиксированным группой: сколько сообщений ещё не обработано. Главный показатель здоровья потребителя.

  • Стабильный небольшой lag — норма
  • Растущий — потребитель не успевает
  • Удобнее мерить в секундах задержки

А ещё Инструменты: kafka-consumer-groups, Burrow, экспортеры Prometheus

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Небольшие колебания нормальны, а вот устойчивый рост означает, что обработка не поспевает за записью, и именно на него имеет смысл настраивать оповещение. Опасность не только в задержке: если отставание превысит срок хранения сообщений, необработанные записи будут удалены и потеряны безвозвратно.

Что хотят услышать

  • Определение lag.
  • Как интерпретировать.

Частые ошибки

  • Оповещать на любое ненулевое значение вместо устойчивого роста.
  • Недооценивать риск потери данных при большом отставании.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✓Насколько потребитель отстал: разницу между последним записанным и последним обработанным им сообщением
  • ✗Задержку сети между потребителем и брокером
  • ✗Время, которое сообщение хранится в топике
  • ✗Количество потребителей в группе

Что спросят дальше

  • С чего начать разбор растущего отставания?
  • Как число партиций ограничивает скорость обработки?

Разбор темы

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем