Системный дизайн LLM-приложений

Типовая архитектура ассистента:

клиент → API (авторизация, лимиты) → оркестратор
         ├─ guardrails входа
         ├─ поиск: векторный + полнотекстовый → реранкер
         ├─ инструменты: CRM, заказы, база знаний
         ├─ шлюз к моделям: маршрутизация, повторы, учёт затрат
         └─ guardrails выхода → потоковый ответ
хранилища: диалоги, документы и фрагменты, трассы, оценки
фон: индексация, оценка качества, аналитика

Что важно знать

• Требования сначала: объём, задержка, точность, данные и права, бюджет. От них зависит всё остальное.
• Оценка нагрузки: запросов в секунду, токенов на запрос, стоимость в месяц, лимиты провайдера.
• Шлюз к моделям — единая точка для ключей, лимитов, учёта затрат, резервных моделей и логирования.
• Состояние: история диалогов, кэш, индексы — где хранится и как масштабируется.
• Деградация: что видит пользователь, если модель, поиск или инструмент недоступны.
• Наблюдаемость и оценка — часть архитектуры, а не надстройка.