Получить доступ

Потоковая выдача

Основа с Junior

Ответ по мере генерации — SSE, обработка обрывов, отмена.

Ответ модели длится секунды, а первые токены приходят быстро. Потоковая выдача показывает текст по мере генерации — воспринимаемая скорость растёт в разы.

Что важно знать

  • Провайдеры отдают поток событий; сервис пересылает их клиенту через Server-Sent Events или WebSocket.
  • Прокси и балансировщики не должны буферизовать ответ (заголовки, настройки nginx).
  • Отмена: пользователь закрыл вкладку — прекратить генерацию и не платить за ненужные токены.
  • Структурированный вывод и вызовы инструментов в потоке приходят частями — их собирают до конца.
  • Проверки безопасности ответа при потоке сложнее: часть текста уже показана.

Критерии освоения

Junior ≈ 4 ч

  • Получает потоковый ответ модели и показывает его пользователю по мере генерации

Практика. Добавить в консольный чат вывод ответа по мере генерации.

Middle ≈ 4 ч

  • Прокидывает поток через свой API и прокси без буферизации
  • Прекращает генерацию при отключении клиента и корректно учитывает токены

Практика. Сделать веб-чат с потоковой выдачей через SSE и кнопкой «Остановить», которая прерывает генерацию на стороне провайдера.

Вопросы с собеседований

← Вся карта «ИИ-инженер»

Закрытая бета

Знать тему — половина дела

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем