LLM Reinforcement Learning Reasoning Quality Safety
摘要

大型语言模型在处理超出其能力范围的任务时,常生成计算成本高但语义空洞的推理过程,导致看似合理实则错误的推导误导用户。本文通过系统分析表征了这种“无用推理”现象,揭示了普遍的能力越界及能力与行为间的系统性校准失误。主要失败模式为似是而非的推理,即输出表面有效但含细微错误,且随任务难度增加而加剧。为此,我们引入CaRL(能力对齐强化学习),通过奖励塑形激励拒绝而非无用推理,并利用回溯拒绝增强将失败转化为拒绝监督。实验表明,该方法在保持各难度任务性能的同时,大幅减少了无用推理,实现了能力对齐的行为。

AI 推荐理由

论文直接针对LLM推理过程中的无效推理现象,提出能力对齐的训练方法以优化推理行为。

研究机构
中国科学院软件研究所中国信息处理实验室 中国科学技术大学 腾讯Weixin AI
论文信息
作者 Xinyan Guan, Jiali Zeng, Chunlei Xin, Yaojie Lu, Hongyu Lin et al.
发布日期 2026-07-31
arXiv ID 2607.29211
相关性评分 9/10 (高度相关)