TurnOPD：面向高效长程智能体训练的轮次感知在线策略蒸馏

在线策略蒸馏（OPD）通过让学生策略在自身轨迹上匹配更强教师策略，为语言智能体训练提供了有效框架。然而，其在长程任务中的应用尚不充分。本文指出传统 OPD 存在两大低效问题：全 horizon rollout 浪费资源于弱监督的尾部轮次，且轨迹级 KL 目标导致深层决策轮次训练不足。为此，提出 TurnOPD，一种轮次级预算策略，包含自适应 rollout 深度预算和渐进式轮次归一化损失预算。实验表明，TurnOPD 在同等时间预算下显著提升了验证准确率，超越了传统 OPD 的性能边界。