RLHF Chain-of-Thought Post-training
摘要

在线策略训练是提升大语言模型推理能力的强大后训练范式,常借助更强专家模型的黄金轨迹进行增强。然而,当专家在难题上失败时,现有方法往往丢弃这些作为负面样本的轨迹。本文提出“黄金负轨迹”概念,认为将其视为需反思的错误而非模仿示范,可提供有价值的推理信号。我们发现了“反思优势”,即对错误轨迹进行反思比从头解题更有效。据此,我们提出ReflectRL框架,利用这些轨迹激发反思性推理,并通过反思到直接策略转换将习得的行为迁移回直接推理。实验表明该方法能显著提升推理性能。

AI 推荐理由

论文核心聚焦于通过反思错误轨迹提升LLM推理能力,直接针对推理机制优化。

研究机构
新加坡国立大学 慕尼黑路德维希-马克西米利安大学 华为海森堡研究中心 南方科技大学 北京大学 东南大学 中国科学院自动化研究所 慕尼黑机器学习中心
论文信息
作者 Jinhe Bi, Chennan Zhou, Zengjie Jin, Aniri, Shuo Lu et al.
发布日期 2026-08-04
arXiv ID 2608.03972
相关性评分 9/10 (高度相关)