摘要
随着大语言模型日益作为自主代理运行,可靠的工具路由评估至关重要。现有基准存在数据分布偏斜、缺乏对抗性负样本及依赖未验证LLM标注等局限。本文提出PluginEval,通过两阶段框架系统缓解这些问题:首先将工具路由分解为三个决策序列,分离生成与验证;其次按能力、意图和边界分解插件,生成不同难度级别的查询以填补覆盖缺口,包括针对三种失败模式的对抗性负样本。该过程形成闭环直至覆盖收敛。评估方面,超越整体准确率,利用锚定黄金标注的LLM裁判将失败分类为漏调、误调或参数错误,生成详细错误画像。我们评估了五种模型家族,分析其在不同难度和错误类别下的表现,并通过人工标注验证了裁判的一致性。
AI 推荐理由
论文聚焦于函数调用(工具使用)的评估与错误归因,直接对应Agent的技能学习与应用能力。
研究机构
苏州大学
腾讯公司
北京邮电大学
中国科学院大学
江南大学
南京大学
小猴科技
论文信息