Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.
А ещё Русский текст часто занимает больше токенов, чем английский того же смысла
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Токенизация. Текст разбивается на токены алгоритмом вроде BPE: частые слова становятся одним токеном, редкие делятся на части. Для английского в среднем около трёх-четырёх символов на токен; для русского и многих других языков токенизаторы часто дают больше токенов на то же содержание — значит, дороже и меньше помещается в окно. Точное соотношение зависит от модели.
Контекстное окно — максимальная длина последовательности: системный промпт, история диалога, добавленные документы и сгенерированный ответ вместе. Если текст длиннее, что-то приходится отрезать или сжимать — модель не видит того, что не попало в окно. Поэтому в длинном чате «забываются» ранние сообщения: их обрезает приложение.
Даже при большом окне есть нюансы:
Практика: держать в контексте только нужное, сжимать историю, подбирать релевантные куски документов через поиск (RAG), а не отдавать всё подряд.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto