DPO Preference Optimization Self-Evolving Token-Level Analysis
摘要

直接偏好优化(DPO)通过均匀求和聚合token级别的概率比,隐含地假设所有token对偏好信号的贡献相等。然而,不同token的贡献度存在差异。本文引入“token信用”概念,根据每个token对偏好结果的贡献来调节其KL正则化强度。研究发现,有效的token信用与隐式奖励的幅度成正比,且在训练过程中显著演变,导致静态信用分配逐渐失准。为此,我们提出Se-DPO,这是一种在DPO训练期间从模型自身演变的内部信号中推导token信用的实时机制。由于不同位置的奖励信号可靠性不同,Se-DPO结合贡献强度和置信度校准token信用。该方法无需外部模型,仅增加轻量级校准网络,实验显示其在AlpacaEval 2和Arena-Hard上分别提升了9.8分和12.2分。

AI 推荐理由

论文提出Se-DPO,核心在于利用模型内部信号动态调整Token Credit,体现了训练过程中的自我进化与自适应机制。

研究机构
University of California, Los Angeles Shanghai AI Laboratory
论文信息
作者 Wenxiao Zhao, Shu Wang, Ying Nian Wu
发布日期 2026-08-10
arXiv ID 2608.09568
相关性评分 9/10 (高度相关)