Локальные и собственные модели

Полезно знать с Middle

Запуск открытых моделей — Ollama для разработки, vLLM для продакшена.

Открытую модель можно запустить у себя: на ноутбуке для разработки или на GPU-сервере в продакшене.

Ollama, LM Studio — локальный запуск в одну команду, удобно для экспериментов и офлайн-разработки.
vLLM, SGLang, TGI — серверы для продакшена: непрерывная пакетная обработка, эффективный KV-кэш, API в формате OpenAI.
Память: модель на 8 млрд параметров в 16 битах занимает около 16 ГБ только весами, плюс KV-кэш под контексты.
Квантизация уменьшает память в 2–4 раза.
Свой сервер оправдан при больших объёмах, требованиях к данным или необходимости дообучения.

Критерии освоения

Запускает открытую модель локально через Ollama и обращается к ней по OpenAI-совместимому API
Объясняет, сколько памяти нужно модели и как квантизация её уменьшает

Практика. Запустить локально модель на 7–8 млрд параметров, прогнать на ней свой набор из 50 примеров и сравнить с моделью по API.

Разворачивает vLLM на GPU-сервере, измеряет пропускную способность и задержку под нагрузкой
Сравнивает стоимость своей модели и API при реальном профиле нагрузки

Практика. Развернуть vLLM, провести нагрузочный тест на 20 одновременных пользователей и посчитать стоимость миллиона токенов против API.

Что такое квантизация модели и чем приходится за неё платить? Middle
Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode…
Как LLM генерирует текст и что такое KV-кэш? Middle
Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT)…
Когда переходить с внешнего API моделей на собственные модели? Senior
Решение принимают по четырём осям: данные (можно ли отправлять наружу — 152-ФЗ, коммерческая тайна), стоимость при реальной нагрузке, качество на своих задачах и команда (кто…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.