Bi-encoder кодирует запрос и документ отдельно в векторы и сравнивает их — документы индексируются заранее, поиск быстрый, но точность ограничена. Cross-encoder подаёт запрос и документ вместе в модель и выдаёт оценку релевантности — точнее, но дорого. Отсюда двухэтапная схема: быстро отобрать 50–100 кандидатов, затем переранжировать их реранкером и отдать в LLM лучшие 5–10.
А ещё Реранкинг также сокращает контекст — меньше токенов и меньше «шума» для LLM
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Почему bi-encoder неточен. Весь смысл документа сжимается в один вектор до того, как известен запрос. Тонкие соответствия (отрицания, конкретные условия) теряются.
Cross-encoder видит запрос и документ одновременно, внимание работает между их токенами, поэтому оценка релевантности намного точнее. Но вычислять её нужно для каждой пары — для миллиона документов на каждый запрос это невозможно.
Схема retrieve → rerank:
Компромиссы: задержка реранкера растёт с числом кандидатов; оптимум подбирают на оценочном наборе (recall@k на первом этапе и качество ответов на втором). Альтернатива — late interaction (ColBERT): векторы для каждого токена, точнее bi-encoder и дешевле cross-encoder.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto