Тексты

Полезно знать с Middle

Классификация и извлечение из текстов — TF-IDF, энкодеры и LLM.

TF-IDF + линейная модель — сильная дешёвая базовая линия.
Энкодеры, обученные на русском, для качества.
LLM — быстрый старт без разметки; схема «LLM размечает — маленькая модель работает».

Критерии освоения

Строит классификатор текстов с базовой линией на TF-IDF и улучшает его эмбеддингами или энкодером
Выбирает между классическим ML, дообученным энкодером и LLM по разметке и стоимости

Практика. Классифицировать отзывы на русском тремя способами — TF-IDF, эмбеддинги, LLM с примерами — и сравнить качество и стоимость.

Как решить задачу классификации текстов — классическим ML, дообучением BERT или LLM? Middle
Три уровня, выбор — по объёму разметки, требованиям к качеству и стоимости: TF-IDF + линейная модель — быстрая и дешёвая базовая линия, хороша при тысячах размеченных примеров…
Что такое эмбеддинги? Junior
Эмбеддинг — вектор чисел, в котором тексты близкие по смыслу оказываются близко в пространстве.
Как работает токенизация в LLM и что такое BPE? Middle
BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним…

Закрытая бета

На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.