超越函数调用：在工具环境不可靠性下基准测试工具使用型智能体

大语言模型正日益作为智能体通过与外部工具环境交互来解决问题。然而，现有基准测试多假设工具环境清洁稳定，忽视了其不可靠性。本文提出 ToolBench-X 基准，用于评估智能体在可恢复可靠性风险下的表现。该基准涵盖多领域多步任务及多种工作流，并注入五种结构化风险（如规范漂移、执行失败等），且每种风险均存在至少一条有效恢复路径。实验表明，智能体在可靠环境中表现良好，但在面对可恢复风险时往往失败，主要归因于风险诊断能力不足和恢复策略无效。研究建议工具使用评估应从函数调用准确率转向不可靠环境下的任务完成率。