摘要
随着LLM向持久自适应智能发展,长期记忆机制需跨交互保留和复用信息。现有系统要么压缩历史以降低在线成本但可能遗漏依赖关系,要么进行深度研究但带来高延迟。本文提出Router-Mem,一种基于证据条件的渐进式执行框架。它首先通过低成本检索前缀获取证据,随后利用轻量级充分性路由器预测上下文是否支持提前终止,实现单令牌决策。若证据不足,则扩展记忆块进行更深分析。实验表明,该方法在保持高质量的同时显著降低了推理时间。
AI 推荐理由
论文核心提出Router-Mem框架,专门解决LLM Agent的长期记忆检索效率与质量平衡问题,属于记忆机制架构创新。
论文信息