APPO：代理过程策略优化

近期代理强化学习进展显著提升了大语言模型代理的多轮工具使用能力，但现有方法多基于粗粒度单元分配信用，难以识别关键中间决策。本文从分支位置选择与信用分配两个视角出发，提出代理过程策略优化（APPO）。该方法将分支和信用分配从粗粒度交互单元转移至序列中的细粒度决策点，利用结合令牌不确定性与策略增益的分支评分筛选探索位置，并引入过程级优势缩放以优化信用分布。实验表明，APPO 在保持高效工具调用和行为可解释性的同时，显著提升了基线性能。