摘要
现代推理模型可根据任务动态分配测试时计算量,但现有方法仅基于预测难度,隐含假设所有失败成本相同。然而在实际部署中,不同错误的后果差异巨大。为此,本文提出后果感知的测试时计算分配方法,利用轻量级预测器评估任务出错成本,并据此将高后果任务路由至更高计算层级。在 SWE-bench 等数据集上的实验表明,该方法在同等预算下显著降低了成本加权损失,且能准确识别高后果任务。
AI 推荐理由
论文核心研究推理过程中的计算资源分配机制,提出后果感知策略以优化推理效果。
研究机构
The University of Sydney
Shanghai Institute of Optics and Fine Mechanics
论文信息