面向多智能体记忆系统的基于树的信用分配

记忆系统常以多智能体流水线形式增强大语言模型的长程任务能力。现有强化学习方法要么对所有智能体统一应用粗糙的最终奖励，要么依赖高成本的特定任务标注。为此，本文提出 TreeMem，无需额外标注即可从最终奖励中推导智能体特定的信用值。该方法将流水线扩展为树结构，通过蒙特卡洛平均估算各智能体对最终结果的贡献，将粗粒度奖励转化为细粒度优化信号，从而同步更新异构智能体策略。实验表明，该方法在长程基准测试中显著优于强基线。