Reward Modeling RLHF Latent Variables Reasoning Traces
摘要

奖励模型在通过强化学习使大语言模型符合人类偏好方面至关重要。传统标量奖励模型虽高效但泛化能力弱,而生成式奖励模型虽鲁棒但缺乏数值灵活性。为解决两者间的错位问题,本文提出LatentRM框架,将中间推理轨迹作为离散潜在变量进行端到端的策略优化,以最大化下游标量奖励的似然度。实验表明,该框架在偏好建模和策略对齐任务中,优于现有的标量、生成式及混合奖励模型。

AI 推荐理由

论文核心在于通过显式学习潜在推理轨迹(Latent Reasoning Traces)来增强奖励模型,直接针对LLM的推理机制进行优化与对齐。

研究机构
北京大学多媒体信息处理国家重点实验室 北京大学计算机学院 腾讯LLM部门
论文信息
作者 Sanwoo Lee, Clive Bai, Hsiu-Yuan Huang, Kun Liang, Weijie Liu et al.
发布日期 2026-07-31
arXiv ID 2607.29185
相关性评分 9/10 (高度相关)