摘要
随着模型上下文协议（MCP）服务器成为连接大语言模型与外部工具的核心基础设施，现有基准测试忽略了工具接口与功能的持续演进，导致无法准确评估 Agent 的适应性。为此，本文提出 MCPEvol-Bench，通过 11 种变异算子模拟 123 个 MCP 服务器内的真实工具演进，构建动态工具集基准。实验表明，即使是前沿模型在面对演进工具时性能也显著下降，规划与推理错误大幅增加，揭示了当前工作流的脆弱性。
AI 推荐理由
论文核心评估 LLM Agent 在动态工具环境下的适应性与工具使用能力，直接关联技能学习。
研究机构
College of Computer Science and Technology, National University of Defense Technology
State Key Laboratory of Complex & Critical Software Environment
论文信息