大型语言模型高效推理时调度的预测性调度

大型语言模型通过生成多条思维链轨迹在复杂推理任务中达到最先进水平，但固定令牌预算导致简单输入过计算、困难输入欠计算。本文提出预测性调度框架，利用轻量级预测器（基于中间隐藏状态的 MLP 或原始文本的 LoRA 分类器）预估查询的最佳推理长度或难度。贪婪批量分配器动态分配固定总令牌预算以最大化预期准确率。在 GSM8K 基准测试中，该方法在相同令牌成本下比均匀预算提高高达 7.9% 的绝对准确率，缩小了与完美预言机超过 50% 的差距。