摘要
长视界智能体在交互中积累大量上下文,导致性能下降。紧凑记忆通过压缩历史缓解此问题,但传统PPO因奖励稀疏难以指导记忆更新。本文提出基于记忆状态对齐的在线策略蒸馏(MemOPD)。针对记忆压缩破坏状态对齐的问题,MemOPD记录每次模型调用的输入输出并恢复原始位置,确保教师模型在相同状态下评估动作。实验表明,该方法显著提升了F1分数和训练速度,有效解决了长期记忆中的状态不一致问题。
AI 推荐理由
论文核心解决长上下文Agent的记忆压缩与状态对齐问题,直接针对记忆机制进行优化。
研究机构
北京大学先进制造与机器人学院
浙江大学
哈尔滨工业大学
论文信息