Генерация и параметры выборки

Основа с Junior

Как модель выбирает следующий токен — temperature, top-p, KV-кэш и почему ответы не детерминированы.

На каждом шаге модель выдаёт распределение вероятностей следующего токена, из него выбирается один, добавляется к тексту — и всё повторяется.

Temperature «сплющивает» или «заостряет» распределение: 0 — почти всегда самый вероятный токен (извлечение данных, классификация), выше — разнообразнее (тексты, идеи).
Top-p — выбирать только из токенов, покрывающих заданную долю вероятности.
Даже при temperature 0 ответы могут немного различаться — из-за особенностей вычислений на GPU и пакетной обработки.
KV-кэш хранит промежуточные результаты для уже обработанных токенов — поэтому первый токен приходит медленнее остальных, а длинный контекст занимает много памяти.
Метрики скорости: время до первого токена (TTFT) и токенов в секунду.
Модели рассуждений (reasoning) сначала генерируют скрытые «размышления» — дольше и дороже, но лучше на сложных задачах.

Критерии освоения

Объясняет генерацию токен за токеном и роль temperature и top-p
Выбирает параметры генерации под задачу (извлечение данных против творческого текста)

Практика. Сгенерировать 20 ответов на один вопрос при temperature 0, 0,7 и 1,2 и описать различия.

Практика. Замерить время до первого токена и скорость генерации трёх моделей при коротком и длинном промпте.

Что такое temperature и top-p у языковой модели? Junior
Параметры выборки следующего токена: temperature делает распределение острее или площе, top-p оставляет только самые вероятные токены с суммарной вероятностью p.
Как LLM генерирует текст и что такое KV-кэш? Middle
Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT)…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.