FastAPI и Pydantic

LLM-функциональность почти всегда живёт за API: чат, поиск по документам, обработка заявок. FastAPI — стандарт для таких сервисов: асинхронный, с автоматической документацией и валидацией через Pydantic.

class Ask(BaseModel):
    question: str = Field(min_length=3, max_length=2000)

@app.post("/ask")
async def ask(body: Ask, user: User = Depends(current_user)):
    return StreamingResponse(stream_answer(body.question, user), media_type="text/event-stream")

Что важно знать

• Pydantic описывает и проверяет данные: входные запросы, ответы модели в структурированном виде, настройки сервиса.
• Потоковая выдача через Server-Sent Events — пользователь видит ответ по мере генерации.
• Зависимости (Depends) — авторизация, клиенты БД и моделей.
• Фоновые задачи и очереди для долгих операций (индексация документов).
• Таймауты, повторы, лимиты на размер запроса — защита бюджета.