Long-Horizon Agents On-Policy Distillation Memory Compression State Alignment
摘要

长视界智能体在交互中积累大量上下文,导致性能下降。紧凑记忆通过压缩历史缓解此问题,但传统PPO因奖励稀疏难以指导记忆更新。本文提出基于记忆状态对齐的在线策略蒸馏(MemOPD)。针对记忆压缩破坏状态对齐的问题,MemOPD记录每次模型调用的输入输出并恢复原始位置,确保教师模型在相同状态下评估动作。实验表明,该方法显著提升了F1分数和训练速度,有效解决了长期记忆中的状态不一致问题。

AI 推荐理由

论文核心解决长上下文Agent的记忆压缩与状态对齐问题,直接针对记忆机制进行优化。

研究机构
北京大学先进制造与机器人学院 浙江大学 哈尔滨工业大学
论文信息
作者 Zhiyuan Liu, Tinghong Ye, Chenghao Liu, Yizhuo Li, Songfang Huang
发布日期 2026-08-07
arXiv ID 2608.07068
相关性评分 9/10 (高度相关)