摘要
强化学习显著提升了大语言模型的推理能力，但无评论家方法采用的均匀信用分配会导致“正信用污染”，即上下文错误的低概率 token 被 indiscriminately 强化。为此，本文提出尾感知信用校准（TACO）方法。该方法通过计算结合局部生成上下文的尾风险评分，区分意外稀有性与不确定性驱动的探索，进而调整高风险 token 的正信用。实验表明，TACO 在多个基准上优于基线，显著提升了长程强化学习的训练稳定性与性能。
AI 推荐理由
论文核心解决 RL 训练中错误推理行为被强化的问题，直接提升 LLM 推理能力。
研究机构
Johns Hopkins University
Rice University
Workato
University of North Carolina at Charlotte
论文信息