ToolSpec：通过模式感知与检索增强的推测解码加速工具调用

工具调用极大扩展了大语言模型的实际效用，但复杂任务中的多步交互导致显著延迟。本文提出 ToolSpec，一种模式感知且检索增强的推测解码方法。该方法利用预定义工具模式生成准确草稿，通过有限状态机交替进行确定性填充与变量推测；同时检索相似历史调用复用为草稿。实验表明，ToolSpec 可实现高达 4.2 倍加速，显著优于现有无训练推测解码方法，是即插即用的高效解决方案。