动态 rollout 编辑用于减少 RL 训练推理模型中的过度思考

长程思维链推理虽能提升复杂任务表现，但模型常在得出正确答案后继续生成无用推理，即“过度思考”。本文从 GRPO 强化学习后训练视角出发，将其视为训练时的信用分配问题。针对成功轨迹中因序列级信用分配导致的过度思考反馈循环，提出动态 Rollout 编辑（DRE）方法。该方法在训练时保留已验证的前缀，编辑后续冗余思考，并在同组内偏好编辑后的轨迹，从而削弱对不必要思考的奖励信号。实验表明该方法在多任务中显著有效。