带有可验证奖励的串联强化学习

可验证奖励强化学习（RLVR）显著提升了大语言模型的推理能力，但常导致推理模式难以被弱模型或人类理解。本文提出串联强化学习（TRL），将串联训练范式引入 RLVR：强模型与冻结的弱模型交替协作生成推理链，仅对强模型应用 GRPO 损失。在数学竞赛任务上的实验表明，TRL 在保持独立推理能力的同时，增强了与弱模型的协作鲁棒性，减少了分布漂移，并生成了更易理解的思维链，为多模型协作及人机兼容性提供了新路径。