摘要
并行思考虽提升了大模型推理性能,但现有“先思后决”范式易导致过度生成。本文提出“先决后思”的新范式——Fork-think with Confidence,即利用单一种子路径的模型置信度识别关键分叉点,随后触发多路采样并聚合结果。实验表明,该方法在三个基准测试中减少了高达 30% 的 token 消耗和 57% 的运行时间,性能媲美或优于现有并行思考方法,且无需额外训练,确立了预定义分叉作为高效推理的重要研究方向。
AI 推荐理由
提出基于置信度的分叉推理新范式,显著提升 LLM 推理效率与性能,属核心机制研究。
研究机构
Saarland Informatics Campus, Saarland University, Germany
论文信息