Как уложить голосового ассистента в задержку ответа около секунды?

Question

Accepted Answer

Задержка складывается из звеньев: определение конца фразы + финальное распознавание + время до первого токена модели + синтез первой фразы + сеть. Уложиться можно только потоково: распознавание идёт во время речи, модель начинает генерировать сразу, синтез озвучивает первое предложение, пока генерируется второе. Плюс быстрая модель, короткий промпт с кэшированием, близкие к пользователю серверы. Определение конца фразы — главный компромисс: рано — перебиваем, поздно — пауза Speech-to-speech модели убирают часть звеньев, но сложнее в контроле Заполнители («Секунду, проверяю заказ…») скрывают задержку инструментов Измерять p50 и p95 задержки от конца фразы до начала ответа на реальных звонках Бюджет (пример): | звено | время | | --- | --- | | конец фразы (VAD, пауза) | 200–500 мс | | финальный результат ASR | 100–300 мс | | первый токен LLM | 200–600 мс | | первый звук TTS | 100–300 мс | | сеть | 50–150 мс | Приёмы: - потоковое распознавание с промежуточными результатами; - семантическое определение конца фразы (модель оценивает, закончил ли человек мысль), а не только пауза; - быстрая модель для первого ответа, сложная работа — асинхронно; - кэширование префикса промпта, короткая история; - синтез по предложениям, первым — короткая реплика; - обработка перебивания: остановить синтез и генерацию, учесть сказанное.

Как уложить голосового ассистента в задержку ответа около секунды?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени

звено	время
конец фразы (VAD, пауза)	200–500 мс
финальный результат ASR	100–300 мс
первый токен LLM	200–600 мс
первый звук TTS	100–300 мс
сеть	50–150 мс