Self-attention: для каждого токена считаются три вектора — Query (что ищу), Key (что содержу), Value (что передам). Вес внимания токена i к токену j — softmax от скалярного произведения Query_i и Key_j; выход — взвешенная сумма Value. Так каждый токен «смотрит» на все остальные и собирает нужный контекст.
А ещё Внимание квадратично по длине контекста — отсюда цена длинных окон
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Формула: Attention(Q, K, V) = softmax(Q·Kᵀ / √d) · V. Деление на √d не даёт произведениям расти с размерностью и «насыщать» softmax.
Почему вытеснили RNN. Рекуррентные сети обрабатывали последовательность шаг за шагом: обучение не параллелится, а связь между далёкими словами проходит через десятки шагов и затухает. Внимание связывает любые две позиции напрямую, и все позиции считаются параллельно на GPU — это позволило обучать модели на триллионах токенов.
Позиции. Внимание само по себе не знает порядка, поэтому добавляют позиционную информацию; в современных LLM — RoPE (вращение векторов Q и K в зависимости от позиции).
Три семейства:
Цена. Вычисления и память внимания растут квадратично от длины контекста. Оптимизации: FlashAttention (без материализации матрицы внимания), grouped-query attention (меньше голов для K и V), KV-кэш при генерации.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto