面向语义路由的结果感知工具选择：无需 LLM 推理的延迟约束学习

针对大模型推理网关中语义路由的工具选择问题，本文提出结果感知工具选择（OATS）方法。该方法通过将工具嵌入向历史成功查询的中心插值，在不增加服务时参数、延迟或 GPU 成本的前提下优化工具选择。在 MetaTool 和 ToolBench 数据集上显著提升了 NDCG@5 指标。研究还评估了两种学习型扩展，建议优先采用零成本优化，仅在数据密度足够时引入学习组件。所有机制均在毫秒级 CPU 预算内运行。