Как реализовать потоковую выдачу ответа LLM пользователю?

Цепочка: клиент ↔ ваш бэкенд ↔ API модели. Каждое звено должно передавать данные потоком:

• API модели — параметр stream, события с дельтами текста;
• бэкенд — асинхронный обработчик, который пересылает дельты сразу (SSE: text/event-stream, flush после каждого события);
• прокси и балансировщики — отключить буферизацию ответа, увеличить таймауты простоя;
• клиент — EventSource или fetch с чтением потока.

Тонкости:

• отмена — при закрытии соединения клиентом отменять запрос к модели;
• ошибки посреди потока — статус 200 уже отправлен, ошибку передают отдельным событием;
• инструменты — при tool calling поток содержит части вызова функции, их собирают до конца перед выполнением;
• подсчёт токенов и стоимости — провайдеры присылают итог в последнем событии.