利用记忆进行推测：LLM Agent 的无损加速

推测执行通过小型模型预测并预启动下一步来加速 LLM Agent，但现有方法无状态且丢弃任务间信息。本文为推测器配备三种在线记忆系统：对比转移表追踪动作序列统计、情景记忆检索相似片段、混淆追踪器抑制重复错误。在六个基准测试中，该方法使动作预测准确率相对提升 19%-39%，观察预测任务最高提升 2.5 倍。随着记忆积累，性能持续增长且泛化于不同成本模型。该过程利用空闲时间运行，零额外时钟成本且保持轨迹一致，实现无损加速。