摘要
大语言模型偏好对齐旨在优化模型以符合多样化的人类指令偏好。强化学习是主要后训练方法,但现有代理奖励多基于结果层面,缺乏对推理轨迹的指导,导致信用分配粗糙。为此,本文提出思维清单奖励(TCR),这是一种面向过程的奖励机制。TCR 将偏好对转化为样本特定的思维清单,评估生成的推理轨迹是否涵盖了偏好隐含的考量因素。此外,为减少与结果监督的重叠,TCR 引入指数移动平均残差公式,以分离出超出结果奖励预测范围的互补思维盈余。在三个模型家族的五个模型上的实验表明,TCR 一致提升了对齐性能。
AI 推荐理由
论文提出过程导向奖励机制,直接优化 LLM 的推理轨迹与思维过程,属于推理能力核心研究。
研究机构
CIP, DISec, College of Computer Science, Nankai University, Tianjin, China
论文信息