Начать с требований: какие вопросы закрывает бот (статус заказа, возврат, доставка), объём (например, 20 тысяч диалогов в день), допустимая задержка, доля передачи оператору, бюджет, где можно обрабатывать данные. Архитектура: API с авторизацией → оркестратор → маршрутизация по типу вопроса → RAG по базе знаний и инструменты (заказы, доставка, возвраты с подтверждением) → guardrails → потоковый ответ; передача оператору с резюме диалога. Вокруг — оценка качества, трассировка, учёт стоимости.
А ещё Запуск поэтапно: подсказки оператору → ответы на часть тем → расширение по метрикам
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Оценка нагрузки (пример): 20 тысяч диалогов в день, 6 сообщений в диалоге, пик в 3 раза выше среднего → около 4 запросов к модели в секунду в пик. При 3 тысячах входных и 300 выходных токенов на запрос — около 400 млн токенов в месяц: это определяет выбор модели и лимиты провайдера.
Компоненты:
| компонент | решение |
|---|---|
| вход | авторизация клиента, лимиты, guardrails (персональные данные, токсичность, инъекции) |
| маршрутизация | классификатор темы: справка, заказ, жалоба, оператор |
| знания | RAG: гибридный поиск по базе знаний и правилам, реранкер, ссылки |
| действия | инструменты к API заказов и доставки с правами текущего клиента |
| модели | шлюз: основная и резервная модель, кэш префикса, учёт затрат |
| выход | проверка ответа, запрет обещаний вне правил, потоковая выдача |
| оператор | передача с резюме диалога и найденными данными |
| данные | диалоги, трассы, оценки, логи — с маскированием персональных данных |
Качество: набор из реальных обращений по темам, автоматическая оценка при каждом изменении, ежедневный разбор выборки диалогов, онлайн-метрики и A/B-тест при запуске.
Отказоустойчивость: таймауты и резервная модель; при недоступности модели — сразу оператор; инструменты с идемпотентными операциями.
Риски: обещания вне правил (компенсации), утечки чужих заказов, инъекции через текст обращения, галлюцинации в правилах возврата.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto