分支策略优化：原生沙盒语言代理强化学习

针对现有大语言模型代理强化学习算法忽略沙盒确定性、可快照及可恢复特性的问题，本文提出分支策略优化（BPO）。该算法通过在主干轨迹的高熵决策点自适应快照并分叉替代动作，构建共享前缀的 rollout 拓扑。理论证明其估计量无偏且方差显著低于传统方法。实验表明，在同等算力下，BPO 在多个基准测试中成功率提升 3.6-6.1 个百分点，梯度方差减半，并以更少更新次数达到最佳基线水平。