摘要
推理时扩展是提升大语言模型性能的关键途径,但受限于严格的计算预算。本文将其建模为受经济原则约束的全局优化问题,通过移位激增函数模拟查询效用,推导出基于全局影子价格的最优分配策略。据此提出 CLEAR 方法,理性放弃无解查询并将资源重分配给临界可解查询。实验表明,该方法在资源稀缺下显著优化成本与准确率平衡,全局准确率提升达三倍。
AI 推荐理由
论文核心研究推理任务的预算分配优化,直接提升推理效率与准确率。
研究机构
Zhejiang University
Tsinghua University
Peking University
论文信息