Compaction удаляет старые записи по ключу, оставляя последнее значение каждого ключа. Топик становится снимком состояния, который можно перечитать и восстановить.
А ещё Похоже на компакцию LSM-дерева
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Это принципиально иная политика хранения, чем удаление по времени, и её легко перепутать со сжатием — здесь речь про версии записей, а не про алгоритм компрессии. Применение прямое: топик становится долговременным журналом текущего состояния, и новый потребитель, прочитав его с начала, получает актуальную картину без обращения к исходной базе. На этом построены внутренние топики состояния Kafka Streams и типичные справочники, реплицируемые между сервисами. Практические детали: удаление выражается записью с тем же ключом и пустым значением — надгробием, которое хранится ограниченное время, поэтому потребители должны успеть его прочитать; и уплотнение не мгновенно, поэтому дубли ключей какое-то время сосуществуют.
Один верный вариант. Подумайте, потом откройте ответ.
Клиентские API, Kafka Connect и Debezium, Streams и stream-processing, ksqlDB, Schema Registry и MirrorMaker для multi-DC.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto