sotto| задача | инструменты |
|---|---|
| распознавание речи (ASR) | Whisper и ускоренные версии, облачные сервисы, GigaAM для русского |
| синтез речи (TTS) | облачные голоса, открытые модели |
| разделение по говорящим | pyannote и аналоги |
| голос в реальном времени | realtime API или связка ASR + LLM + TTS |
Что важно знать
- Качество распознавания — WER (доля ошибочных слов) на своих записях: телефонный звук, шум и акценты заметно ухудшают результат.
- Голосовой ассистент живёт в бюджете задержки: каждое звено конвейера работает потоково, иначе паузы раздражают собеседника.
- Определение конца фразы и перебивание — отдельные нетривиальные задачи.
- Аудио — персональные данные, запись разговора требует согласия.