Работа с API моделей

Почти все провайдеры дают похожий интерфейс: список сообщений с ролями (system, user, assistant), параметры генерации, ответ с текстом и расходом токенов. Многие совместимы с форматом OpenAI, поэтому переключиться между провайдерами можно сменой адреса и ключа.

resp = await client.chat.completions.create(
    model="...",
    messages=[
        {"role": "system", "content": "Ты помощник службы поддержки магазина."},
        {"role": "user", "content": question},
    ],
    temperature=0.2,
)
print(resp.choices[0].message.content, resp.usage.total_tokens)

Модель не помнит прошлые запросы: история диалога каждый раз отправляется целиком, и за неё платят снова.