Три уровня, выбор — по объёму разметки, требованиям к качеству и стоимости: TF-IDF + линейная модель — быстрая и дешёвая базовая линия, хороша при тысячах размеченных примеров; эмбеддинги или дообученный BERT-подобный энкодер — лучшее качество на русском при достаточной разметке, дёшево в работе; LLM с промптом — почти без разметки, быстрый старт, но дороже и медленнее на каждый запрос. Частая схема: LLM размечает данные, маленькая модель обучается на них и работает в продакшене.
А ещё Разметка и её качество важнее архитектуры
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Сравнение:
| подход | разметка | качество | цена работы |
|---|---|---|---|
| TF-IDF + логистическая регрессия | тысячи | базовое | очень низкая |
| эмбеддинги + классификатор | сотни — тысячи | хорошее | низкая |
| дообученный энкодер | тысячи | высокое | низкая, нужен GPU для обучения |
| LLM с примерами | десятки | высокое, без обучения | высокая на запрос |
Практика: анализ ошибок по классам, проверка согласия разметчиков, поиск дублей между обучением и тестом, мониторинг дрейфа тем.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto