Выбор модели

Основа с Junior

Закрытые модели по API, открытые веса, российские модели — как выбрать под задачу и ограничения.

вариант	примеры	когда
закрытые модели по API	GPT, Claude, Gemini	максимум качества, быстрый старт
российские модели	GigaChat, YandexGPT	данные должны оставаться в РФ, оплата в рублях
открытые веса	Qwen, Llama, DeepSeek, Mistral	свой контур, контроль, дообучение
маленькие модели	модели на 1–8 млрд параметров	классификация, извлечение, дешёвые массовые задачи

Выбор — компромисс качества, цены, скорости и требований к данным. Начинают с сильной модели, проверяют качество на своём наборе примеров, потом пробуют дешевле.
Персональные данные граждан РФ (152-ФЗ) и коммерческая тайна часто требуют российского провайдера или модели в своём контуре.
Открытая модель на своих серверах — это расходы на GPU, инфраструктуру и людей; при малой нагрузке API дешевле.
Квантизация (4–8 бит) позволяет запустить модель на меньшем железе ценой небольшой потери качества.
Рейтинги моделей — ориентир; решает проверка на своих данных.

Критерии освоения

Называет основных провайдеров моделей, включая российских, и открытые семейства моделей

Практика. Составить таблицу из 6 моделей — провайдер, цена за миллион токенов, контекст, где обрабатываются данные.

Выбирает модель под задачу по качеству на своём наборе, цене, задержке и требованиям к данным
Учитывает 152-ФЗ и коммерческую тайну при выборе провайдера

Практика. Сравнить 3 модели на наборе из 50 примеров своей задачи по качеству, стоимости и задержке и выбрать одну.

Обосновывает для компании стратегию моделей — внешние API, российские, собственные — с расчётом стоимости

Практика. Подготовить для руководства рекомендацию по моделям на год с учётом требований к данным, бюджета и рисков смены провайдера.

Как выбрать модель для LLM-продукта — большая или маленькая, своя или по API? Middle
Начинать с сильной модели по API, чтобы понять потолок качества на своей задаче, собрать оценочный набор, затем пробовать модели дешевле и меньше и сравнивать на нём. Своя…
Что такое квантизация модели и чем приходится за неё платить? Middle
Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode…
Когда переходить с внешнего API моделей на собственные модели? Senior
Решение принимают по четырём осям: данные (можно ли отправлять наружу — 152-ФЗ, коммерческая тайна), стоимость при реальной нагрузке, качество на своих задачах и команда (кто…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.