Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the middle), а база знаний обычно больше любого окна и постоянно меняется. Положить всё в контекст разумно для небольшого и стабильного набора документов, особенно с кэшированием промпта.
А ещё Для одного длинного документа (договор, отчёт) — целиком в контекст, без нарезки
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Аргументы за RAG:
Когда хватит длинного контекста: анализ одного большого документа; небольшой стабильный справочник, который можно закэшировать (prompt caching делает повторные запросы дешёвыми и быстрыми); прототип, где нет времени строить поиск.
Context engineering — шире RAG: что положить в контекст на каждом шаге агента (инструкции, историю, результаты инструментов, найденные документы), что сжать, что выбросить. Лишний контекст не нейтрален — он отвлекает модель и стоит денег.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto