流式工具使用何时有益？表征流式检索增强生成中的工具意图稳定化

流式检索增强生成（Streaming RAG）通过在用户输入完成前并行发起工具查询来降低延迟。本文聚焦于“工具意图稳定化”这一关键机制，即推测性查询收敛至有效结果的时刻。研究在 CRAG 基准上测量了稳定化分布，推导了可隐藏工具延迟的理论边界，并验证了实际流水线的收益。结果表明，在典型操作点下，近 74% 的查询能实现显著的延迟隐藏。研究还识别了预测早期或晚期稳定的查询属性，为判断是否值得采用推测性触发策略提供了依据。