Как LLM генерирует текст и что такое KV-кэш?

Два режима:

• prefill — все токены промпта проходят через модель за один параллельный проход; длинный промпт → дольше ждать первый токен;
• decode — модель выдаёт один токен, добавляет его в контекст, повторяет. Здесь каждый шаг читает из памяти все веса модели ради одного токена — узкое место в пропускной способности памяти.

KV-кэш. Для внимания каждому новому токену нужны K и V всех предыдущих. Их сохраняют после первого вычисления и на следующем шаге считают только для нового токена. Объём кэша = слои × головы × размерность × длина контекста × батч — гигабайты на длинных контекстах.

Оптимизации в продакшене:

• continuous batching — новые запросы встраиваются в батч на лету, GPU не простаивает;
• paged attention (vLLM) — кэш хранится страницами, без фрагментации памяти;
• prefix caching / prompt caching — общий префикс (системный промпт) обрабатывается один раз;
• speculative decoding — маленькая модель предлагает несколько токенов, большая проверяет их за один шаг;
• квантизация весов и кэша.

Метрики: TTFT (время до первого токена) и токенов в секунду на генерации — это разные характеристики, и оптимизируются они разными средствами.