Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API?

Question

Accepted Answer

Начинать с сильной модели по API, чтобы понять потолок качества на своей задаче, собрать оценочный набор, затем пробовать модели дешевле и меньше и сравнивать на нём. Своя открытая модель оправдана при требованиях к данным (контур компании, ПДн), больших и стабильных объёмах, необходимости дообучения или жёстких требованиях к задержке. Маршрутизация: простые запросы — маленькой модели, сложные — большой Своя модель — это GPU, инференс-сервер, мониторинг, обновления: полная стоимость владения Публичные бенчмарки плохо предсказывают качество на конкретной задаче Привязка к одному провайдеру — риск; абстракция над API упрощает переключение Критерии: - качество на своей задаче — только по своему оценочному набору; - стоимость — цена за токены × объём, либо стоимость GPU и эксплуатации; - задержка — TTFT и скорость генерации, особенно для голоса и интерфейсов реального времени; - данные и комплаенс — можно ли отправлять данные внешнему провайдеру, где расположены серверы; - контроль — дообучение, стабильность версии, независимость от изменений провайдера. Типичная эволюция продукта: прототип на лучшей модели по API → оценочный набор → оптимизация промптов → маршрутизация и кэширование → для массовых узких задач — маленькая или дистиллированная модель, иногда своя. Своя модель: vLLM или аналог, квантизация, автоскейл на GPU, свои обновления и безопасность. Окупается при большом стабильном трафике или жёстких требованиях к данным.

Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени