Как устроена большая языковая модель (LLM)?

Что делает модель. На вход — последовательность токенов (кусков слов). На выходе — распределение вероятностей для следующего токена. Выбираем токен, добавляем к тексту и повторяем. Такая генерация называется авторегрессионной.

Архитектура. Почти все современные LLM — трансформеры (архитектура 2017 года). Ключевая часть — self-attention: для каждого токена модель вычисляет, насколько ей важны остальные токены контекста. Так учитывается, к чему относится местоимение, о чём был вопрос в начале и т. д. Слои внимания и полносвязные слои повторяются десятки раз, параметров — миллиарды.

Как обучают.

1. Предобучение — модель учится предсказывать следующий токен на огромном массиве текстов. Так она осваивает язык, факты и шаблоны рассуждений.
2. Дообучение на инструкциях (instruction tuning) — на примерах «запрос — хороший ответ», чтобы модель следовала просьбам, а не просто продолжала текст.
3. Настройка по предпочтениям (RLHF и похожие методы) — модель учат выбирать ответы, которые люди оценивают как более полезные и безопасные.

Следствия для практики: у модели ограниченное окно контекста, знания заканчиваются датой обучения, она может уверенно генерировать неправду, а результат зависит от параметров выборки и формулировки запроса.