摘要
基于学习的自进化LLM代理记忆系统面临两个紧密耦合的挑战:随着交互历史增长,轨迹索引效用分散了有限反馈;且无关经验可能因联合分配奖励而陷入“记忆-奖励陷阱”。为此,我们提出了降阶记忆强化学习(RoMeRL),利用固定维度的每任务记忆状态因子化表示增长的效用空间。RoMeRL通过固定语义坐标集整合新体验,集中反馈于有界支持域。理论分析表明该参数化提高了平均反馈密度并限制了错误坐标的稳态占用。实验显示,在ALFWorld和LifelongAgentBench上,RoMeRL显著提升了任务性能,减少了冷启动比率、维持的记忆规模及LLM调用次数。
AI 推荐理由
论文核心解决自进化Agent的记忆机制问题,提出降低维度以优化记忆更新和反馈覆盖。
研究机构
南京大学
厦门大学
浙江大学
论文信息