Получить доступ

Как работает токенизация в LLM и что такое BPE?

MiddleНейросети и трансформеры
Ещё спрашивают так:
  • Почему русский текст «дороже» английского в токенах?
  • Почему LLM плохо считает буквы в слове?
Коротко

BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним токеном, редкие разбиваются на части. Модель видит номера токенов, а не буквы.

  • Словари обучены в основном на английском — русский текст разбивается на больше токенов, а значит дороже и занимает больше контекста
  • Посимвольные задачи (посчитать буквы, перевернуть слово) трудны, потому что буквы спрятаны внутри токенов
  • Числа режутся непредсказуемо — одна из причин ошибок в арифметике

А ещё У каждой модели свой токенизатор — считать токены нужно её инструментом

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Обучение BPE:

  1. Исходный словарь — все байты (byte-level BPE) — поэтому неизвестных символов не бывает.
  2. Подсчитать частоты соседних пар в корпусе.
  3. Объединить самую частую пару в новый токен, добавить в словарь.
  4. Повторять до нужного размера словаря (десятки — сотни тысяч).

Варианты: WordPiece (BERT), Unigram/SentencePiece (T5, Llama).

Следствия для инженера:

  • стоимость и лимиты считаются в токенах; для русского — в 1,5–3 раза больше токенов на тот же смысл, чем для английского;
  • контекстное окно заполняется быстрее на «неудобных» языках и в коде с длинными идентификаторами;
  • буквы и цифры — модель не «видит» отдельных символов, поэтому ошибки в подсчёте букв, рифмах, арифметике с длинными числами;
  • пробел перед словом часто часть токена — «кот» и « кот» разные токены.

Практика: оценивать стоимость промпта реальным токенизатором модели (tiktoken, токенизатор из библиотеки transformers или счётчик токенов API).

Что хотят услышать

  • Алгоритм BPE.
  • Почему язык влияет на число токенов.
  • Следствия: стоимость, контекст, ошибки с буквами и числами.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем