Промпты в продакшене

Основа с Middle

Шаблоны, версии, кэширование префикса и проверка изменений на наборе примеров.

Промпты — в репозитории рядом с кодом или в системе управления промптами, с историей изменений и ревью.
Шаблоны с явными переменными; пользовательские данные всегда подставляются в отведённое место и экранируются разметкой.
Каждое изменение промпта прогоняют на наборе для оценки — исправив один случай, легко сломать десять других.
Смена модели — тоже изменение: промпт, отлаженный под одну модель, может хуже работать на другой.
Кэширование префикса: неизменную часть (инструкции, документы) ставят в начало — провайдеры удешевляют повторно отправляемый префикс в разы.
Логировать версию промпта и модели вместе с каждым ответом — иначе разбор жалоб невозможен.

Критерии освоения

Практика. Перенести промпты сервиса в версионируемые шаблоны, добавить прогон набора оценки в CI и логирование версии промпта в каждом ответе.

Выстраивает процесс изменения промптов в команде — ревью, оценка, постепенная выкатка, откат

Практика. Описать и внедрить в команде регламент изменения промптов с порогами качества и откатом конфигурацией.

Как кэшировать запросы к LLM — prompt caching и семантический кэш? Middle
Prompt caching (на стороне провайдера или сервера инференса) переиспользует обработку одинакового префикса промпта — системные инструкции, документы, историю: повторные запросы…
Как оценивать качество ответов LLM? Middle
Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.