摘要
生产环境中的 LLM 助手需将用户请求路由至日益增长的工具库,但目录扩展如何影响路由精度?本研究基于部署的企业生产力助手(含 110 个 Agent、584 种工具),评估了三款前沿模型在规模扩展下的单步路由表现。结果显示,针对描述模糊的请求,路由 F1 值下降 16-23%。通过预言机分析,将退化归因于检索缺口与混淆缺口。研究发现,基于嵌入的初选策略可在全规模下使 F1 值回升 10-11%,并在真实流量标注研究中得到验证。
AI 推荐理由
核心研究大规模工具库下的 Agent 路由与选择机制,直接决定技能调用准确性。
研究机构
Superhuman, Inc.
论文信息