摘要
针对LLM逐个生成工具调用Token导致的延迟问题,本文提出OoO-Spec方法。该方法利用旁路模型在请求到达时并行预测函数选择及所有参数槽位值,而目标模型继续解码。运行时将预测值合并渲染为文本供后续候选构建使用,目标模型作为唯一验证者进行非阻塞轮询并提交结果。旁路模型仅通过LoRA训练一次,无需针对特定目标微调。实验显示,OoO-Spec在多种基准测试中显著优于自回归解码和现有推测方法,加速比达2.46x-5.34x,且具备低通信开销优势。
AI 推荐理由
论文核心解决LLM工具调用(Tool Calling)的效率问题,属于技能执行层面的优化。
研究机构
The University of Tokyo
Nanjing University
Peking University
论文信息