Lag растёт — потребление медленнее производства. Разбор: всплеск входящего потока или замедление обработки; все партиции или одна (горячий ключ); ребалансы и повторы.
А ещё Алерт по lag в секундах (время до обработки), а не только в сообщениях
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Это главная метрика здоровья потребителя, и алерт стоит вешать именно на её устойчивый рост, а не на абсолютное значение — короткие всплески нормальны. Порядок разбора: посмотреть, не выросла ли скорость записи; оценить время обработки одного сообщения и найти в нём блокирующие вызовы; проверить, не упёрлись ли вы в число партиций, поскольку потребителей в группе не может эффективно работать больше, чем партиций; убедиться, что нет постоянных ребалансировок и повторов. Растущий lag опасен не только задержкой: если он превысит срок хранения, сообщения будут удалены до обработки, то есть потеряны безвозвратно.
Один верный вариант. Подумайте, потом откройте ответ.
Consumer lag и его причины, ребаланс и безопасный commit, poison-сообщения, ZooKeeper → KRaft, schema evolution, изменения partitions и ключевые метрики.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto