Что такое квантизация модели и чем приходится за неё платить?

Question

Accepted Answer

Квантизация хранит веса (и иногда активации) с меньшей точностью: вместо 16 бит — 8 или 4. Модель занимает в 2–4 раза меньше памяти и генерирует быстрее, потому что decode упирается в чтение весов из памяти. Плата — некоторая потеря качества, заметнее на сложных задачах и у малых моделей. Память под веса ≈ число параметров × байт на параметр: 70B в fp16 — около 140 ГБ, в 4 битах — около 35–40 ГБ Посттренировочные методы: GPTQ, AWQ, форматы GGUF (llama.cpp) QLoRA — дообучение LoRA поверх 4-битной базовой модели Качество квантованной модели проверяют на своих задачах, а не по общим бенчмаркам Зачем. Большая модель не помещается в память одной видеокарты, а скорость генерации ограничена тем, сколько байт весов нужно прочитать на каждый токен. Меньше бит — меньше памяти и выше скорость. Виды: - только веса (weight-only, int4/int8) — самый распространённый вариант для LLM; - веса и активации (int8, fp8) — ускоряет и вычисления, но сложнее сохранить качество; - KV-кэш в пониженной точности — больше параллельных запросов и длиннее контекст. Методы: простое округление теряет качество из-за выбросов в весах; GPTQ и AWQ подбирают квантование слоя по калибровочным данным, защищая важные веса. Для локального запуска — GGUF-модели в llama.cpp и Ollama. Компромисс: 8 бит обычно почти без потерь; 4 бита — небольшие потери, приемлемые для многих задач; ниже — заметная деградация. Большая модель в 4 битах часто лучше маленькой в 16 битах при той же памяти.

Что такое квантизация модели и чем приходится за неё платить?

Подробно

Что хотят услышать

Связанные вопросы

Подсказки на собеседовании — в реальном времени