Модель не помнит прошлых запросов — память строит приложение. Короткая — история диалога в контексте: последние сообщения целиком, старые — резюме. Долговременная — извлечённые из диалогов факты о пользователе (предпочтения, данные) в хранилище с поиском, подмешиваемые в новый диалог. Рабочая память агента — заметки и план во внешнем хранилище, а не в растущем контексте.
А ещё Пользователь должен видеть и удалять то, что ассистент о нём помнит
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Стратегии истории:
| стратегия | плюс | минус |
|---|---|---|
| вся история | ничего не теряется | дорого, упирается в контекст |
| скользящее окно | дёшево | забывает начало разговора |
| резюме старого + окно | баланс | детали теряются |
| поиск по истории | масштабируется | сложнее, может не найти |
Долговременная память: после диалога модель извлекает факты («предпочитает доставку в пункт выдачи»), они сохраняются с источником и датой; при новом диалоге ищутся релевантные. Конфликты фактов — более новый побеждает или уточнение у пользователя.
Проверка: набор длинных диалогов, где ответ зависит от раннего сообщения, — сравнить стратегии по качеству и токенам.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto