摘要
混合推理模型可选择直接回答或消耗额外 token 进行扩展思考。现有路由方法通常依赖标注数据或预设固定预算,忽略了模型自身的答案级证据。本文提出 DART,一种无需训练的路由框架:通过采样两个低成本的“无思考”草稿,若一致则直接回答,若不一致则基于草稿熵预测思考预算。实验表明,DART 在多数场景下保持或提升了准确率,同时显著减少思考 token 消耗。在数学和代码推理任务中,准确率分别最高提升 9.0 和 22.5 个百分点,token 用量大幅降低。
AI 推荐理由
论文核心研究混合推理模型中的自适应思考预算分配,直接优化推理效率与准确率。
研究机构
Korea University
Konkuk University
Yonsei University
Soongsil University
Kumoh National Institute of Technology
论文信息