Топик — именованный поток сообщений. Партиция — упорядоченный журнал, часть топика. Offset — номер сообщения внутри партиции.
А ещё Порядок гарантирован только внутри партиции
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Топик — логическая категория сообщений: orders, payments. Топик делится на партиции — это единица параллелизма, хранения и порядка. Каждая партиция — журнал на диске брокера (набор сегментов), в который сообщения только дописываются.
Offset — монотонно растущий номер записи в партиции. Он идентифицирует сообщение вместе с номером партиции и служит позицией потребителя: группа потребителей фиксирует (commit) последний обработанный offset в служебном топике __consumer_offsets и при перезапуске продолжает с него.
Хранение — по политике: удаление старше retention.ms или после retention.bytes, либо compaction — остаётся последнее значение по каждому ключу. Чтение сообщений их не удаляет.
Распределение: партиции разнесены по брокерам кластера, у каждой есть лидер и реплики. Продюсер выбирает партицию по ключу (хеш), потребители группы делят партиции между собой.
Один верный вариант. Подумайте, потом откройте ответ.
Распределённый append-only лог, партиция как единица масштаба и упорядоченности, ключ и порядок, retention и log compaction, replay.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto