过程奖励驱动的树形展开用于高效多轮强化学习

强化学习是训练大语言模型智能体的关键方法，但现有方法在多步任务中常因均匀采样而浪费资源。本文提出过程评分引导的自适应树形展开（PATR）框架，利用过程反馈对部分轨迹评分，选择性地从有前景的状态分支，复用共享前缀并剪枝低效路径。该方法在相同训练预算下显著提升了探索效率。在 FrozenLake 和 SWE-Bench 上的实验表明，PATR 分别提升了 9.3 分和 5.0 分，证明了其在可扩展多轮强化学习中的有效性。