摘要
在线策略训练是提升大语言模型推理能力的强大后训练范式,常借助更强专家模型的黄金轨迹进行增强。然而,当专家在难题上失败时,现有方法往往丢弃这些作为负面样本的轨迹。本文提出“黄金负轨迹”概念,认为将其视为需反思的错误而非模仿示范,可提供有价值的推理信号。我们发现了“反思优势”,即对错误轨迹进行反思比从头解题更有效。据此,我们提出ReflectRL框架,利用这些轨迹激发反思性推理,并通过反思到直接策略转换将习得的行为迁移回直接推理。实验表明该方法能显著提升推理性能。
AI 推荐理由
论文核心聚焦于通过反思错误轨迹提升LLM推理能力,直接针对推理机制优化。
研究机构
新加坡国立大学
慕尼黑路德维希-马克西米利安大学
华为海森堡研究中心
南方科技大学
北京大学
东南大学
中国科学院自动化研究所
慕尼黑机器学习中心
论文信息