Long-term Memory Efficient Inference Agent Architecture
摘要

随着LLM向持久自适应智能发展,长期记忆机制需跨交互保留和复用信息。现有系统要么压缩历史以降低在线成本但可能遗漏依赖关系,要么进行深度研究但带来高延迟。本文提出Router-Mem,一种基于证据条件的渐进式执行框架。它首先通过低成本检索前缀获取证据,随后利用轻量级充分性路由器预测上下文是否支持提前终止,实现单令牌决策。若证据不足,则扩展记忆块进行更深分析。实验表明,该方法在保持高质量的同时显著降低了推理时间。

AI 推荐理由

论文核心提出Router-Mem框架,专门解决LLM Agent的长期记忆检索效率与质量平衡问题,属于记忆机制架构创新。

论文信息
作者 Yidan Lin, Kaixiang Wang, Jiong Lou, Jie Li
发布日期 2026-08-02
arXiv ID 2608.01285
相关性评分 9/10 (高度相关)