Preference Alignment Reinforcement Learning Process Reward Reasoning Trace
摘要

大语言模型偏好对齐旨在优化模型以符合多样化的人类指令偏好。强化学习是主要后训练方法,但现有代理奖励多基于结果层面,缺乏对推理轨迹的指导,导致信用分配粗糙。为此,本文提出思维清单奖励(TCR),这是一种面向过程的奖励机制。TCR 将偏好对转化为样本特定的思维清单,评估生成的推理轨迹是否涵盖了偏好隐含的考量因素。此外,为减少与结果监督的重叠,TCR 引入指数移动平均残差公式,以分离出超出结果奖励预测范围的互补思维盈余。在三个模型家族的五个模型上的实验表明,TCR 一致提升了对齐性能。

AI 推荐理由

论文提出过程导向奖励机制,直接优化 LLM 的推理轨迹与思维过程,属于推理能力核心研究。

研究机构
CIP, DISec, College of Computer Science, Nankai University, Tianjin, China
论文信息
作者 Xubo Liu, Wenya Guo, Ruxue Yan, Xinying Qian, Ying Zhang
发布日期 2026-07-22
arXiv ID 2607.19824
相关性评分 9/10 (高度相关)