sottoДистилляция — большая модель генерирует ответы на ваши задачи, маленькая дообучается на них. Итог — модель, которая в узкой задаче близка к большой, но в разы дешевле и быстрее.
Квантизация — хранение весов в 8 или 4 битах вместо 16: память и стоимость падают в 2–4 раза, качество — немного.
Что важно знать
- Дистилляция ограничена условиями использования провайдера большой модели — их проверяют.
- Форматы квантизации: GGUF (llama.cpp, Ollama), AWQ и GPTQ (серверы на GPU).
- Качество после сжатия проверяют на своём наборе, а не по общим бенчмаркам.