Сообщения, роли и параметры

Основа с Junior

Как устроен запрос к чат-модели, системный промпт, история диалога и расход токенов.

Системный промпт задаёт роль, правила и формат; пользовательские сообщения — данные и вопросы.
История: длинный диалог дорожает с каждым сообщением — обрезают старое, сжимают в резюме, используют кэширование префикса.
Параметры: temperature, max_tokens (лимит ответа), stop-последовательности.
Ответ содержит причину остановки: закончил, упёрся в лимит токенов, вызвал инструмент — обрабатывать каждую.
Ошибки: 429 (превышен лимит запросов) и 5xx — повтор с экспоненциальной паузой; таймауты обязательны.
Ключи API — только на сервере, никогда во фронтенде.
Абстракция над провайдерами (свой тонкий слой или LiteLLM) упрощает смену модели.

Критерии освоения

Практика. Сделать консольный чат с историей диалога и выводом стоимости каждого ответа.

Практика. Написать клиент с повторами, таймаутами и переключением между двумя провайдерами одной настройкой, покрыть тестами с подменой ответов.

Что такое токены и контекстное окно LLM? Junior
Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.
Что такое temperature и top-p у языковой модели? Junior
Параметры выборки следующего токена: temperature делает распределение острее или площе, top-p оставляет только самые вероятные токены с суммарной вероятностью p.

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.