摘要
推荐系统依赖个性化,其“正确性”往往取决于主观偏好而非二元真理。随着大语言模型(LLM)被部署为安全和质量指南的自主验证器,它们面临情境感知偏好对齐的独特挑战。尽管可验证奖励强化学习(RLVR)在客观数学任务上取得进展,但本研究通过大规模实验发现,僵化的、以数学为中心的推理痕迹会损害主观验证效果,且标准RLVR会导致“推理崩溃”。为此,我们引入了一种条件长度惩罚的后训练算法,并证明推理轨迹的有效性与其社会语言学框架紧密相关。基于此,我们提出了一种通过上下文对齐的人格进行推理路由的中期训练架构,为将推理模型与现实世界的主观约束对齐提供了算法补丁和架构蓝图。
AI 推荐理由
论文核心探讨LLM在主观任务中的推理机制、失败模式及动态路由,直接针对推理能力进行优化。
研究机构
Duke University
Netflix
Los Gatos, USA
论文信息