摘要
利用强化学习(RL)对大语言模型(LLM)进行后训练是提升模型能力的重要手段,但LLM的动作空间结构给探索过程带来了独特挑战。为此,我们提出了指令条件探索(ICE),通过在训练中引入多种不同的指令来增加行为覆盖范围。为支持ICE,我们设计了结合强化学习与自蒸馏的非对称目标(Asymmetric-RL/SD),将探索到的行为迁移至测试时的无条件策略。实验表明,该方法在Qwen3-1.7B模型的数学推理任务上显著提升了长上下文下的性能。
AI 推荐理由
论文旨在通过强化学习提升LLM在数学推理任务中的表现,直接针对推理能力优化。
研究机构
University of Southampton
论文信息