SpecHop：用于加速多跳检索代理的连续推测

大型语言模型常利用外部工具解决信息密集型任务，但复杂任务中的多跳工具使用因需等待观测结果而引入显著延迟。本文研究如何在不改变最终执行轨迹的前提下，利用更快但可靠性较低的推测工具来加速该过程。我们建立了多跳工具使用场景下的无损推测理论框架，并提出了 SpecHop，一种维持多个推测线程的连续推测框架。该方法异步验证预测观测值，提交正确分支并回滚错误分支，在保持准确性的同时大幅降低延迟。实验表明，SpecHop 在某些设置下可将延迟降低高达 40%。