通过对比动态分支采样训练多轮搜索智能体

代理强化学习使大语言模型能执行复杂的多轮规划与工具使用，但长程设置因奖励稀疏而极具挑战。现有树基方法存在高方差和低效问题。本文发现性能差异主要源于尾部决策，据此提出无值分支相对策略优化（BranPO）。该方法通过截断轨迹并重采样替代延续，构建基于共享前缀的对比后缀，提供步级对比监督以消除信用模糊。此外，引入难度感知分支采样和冗余步骤掩码以提升效率与稳定性。实验表明，BranPO 在长程任务上显著优于基线且未增加训练预算。