ToolFailBench：诊断大语言模型代理中的工具使用失败

工具调用是现代大语言模型代理的核心，但综合基准分数常掩盖具体失败环节。本文提出 ToolFailBench，一个涵盖金融、医疗等五大领域 1000 项任务的诊断基准，旨在量化工具使用失败。通过区分必须使用工具和无需使用工具的任务，利用规则分类器与大模型法官标记跳过工具、忽略结果、伪造输出及不必要的工具使用等错误类型。评估 19 种主流模型发现，最佳模型的纯净工具使用率仅为 86.33%，且不同模型失败模式差异显著，表明当前评估需同时关注工具调用的准确性、结果利用的正确性及避免冗余调用。