摘要
推理语言模型常出现“过度思考”现象,生成冗长且无益的行为链(如犹豫、放弃策略、自相矛盾),消耗令牌却未提升答案质量。研究表明,即便控制回复长度,错误轨迹中的无效自我反思率仍高于正确轨迹。针对此问题,本文提出利用推理轨迹中的中间答案承诺作为低成本代理,通过对比候选答案与真实值判断后续反思的有效性。基于此,作者提出了 DASH(漂移感知优势塑造)方法,根据推理片段是否导向正确性进行段级信用分配。在数学竞赛基准测试中,DASH 在过度思考高发场景下取得了最高准确率,同时显著减少了无效行为并提升了自我修正的生产力。
AI 推荐理由
论文核心研究推理过程中的过度思考问题,提出段级信用分配机制优化推理效率。
研究机构
Capital One
论文信息