sottoМодель видит не буквы и не слова, а токены — части слов из словаря, построенного алгоритмом вроде BPE. Цена, скорость и лимиты считаются в токенах.
Что важно знать
- Контекстное окно — сколько токенов модель обрабатывает за раз: системный промпт, история диалога, документы, ответ.
- Русский текст в большинстве токенизаторов занимает больше токенов, чем английский того же смысла, — дороже и быстрее заполняет контекст.
- Длинный контекст не бесплатен: дороже, медленнее, а информация в середине используется хуже («lost in the middle»).
- Токенизация объясняет странности: модель плохо считает буквы в слове и путается в длинных числах.
- Подсчёт токенов до отправки — библиотеки токенизаторов провайдеров.