Что такое temperature и top-p у языковой модели?

На каждом шаге модель выдаёт вероятности для всех токенов. Дальше токен нужно выбрать — это и настраивают параметры.

• Temperature — делит «сырые» оценки модели перед превращением в вероятности. Меньше единицы — разрыв между вероятными и маловероятными токенами растёт, ответы стабильнее. Больше — распределение выравнивается, ответы разнообразнее, но растёт риск бессмыслицы. Около нуля — почти всегда берётся самый вероятный токен (жадная выборка).
• Top-p (nucleus sampling) — сортируем токены по вероятности и оставляем минимальный набор, сумма вероятностей которого не меньше p (например, 0.9). Отбрасываются «хвосты» маловероятных вариантов.
• Top-k — оставить k самых вероятных токенов.

Почему ответы разные: выбор случайный, даже при низкой температуре. Детерминизм дополнительно ломают особенности вычислений на GPU и пакетная обработка запросов на стороне провайдера.

Практика: для извлечения данных, классификации, кода — низкая температура и строгий формат вывода; для генерации идей — повыше. Для воспроизводимых тестов промптов — фиксировать параметры и прогонять несколько раз.