Tool Use Benchmark Agent Evaluation Multi-step Planning
摘要

大型语言模型正日益作为智能体部署,需在多步骤中与有状态环境交互,包括收集隐藏信息、组合工具调用及提交状态变更。现有基准常局限于孤立 API 调用或短轨迹。本文提出 E-Bench,一个涵盖三个产品领域(王者荣耀、QQ 音乐、腾讯会议)的全合成基准,包含 323 个状态变更任务。该基准通过图引导数据库填充构建可复用环境,并利用生成器 - 求解器不对称性创建需发现隐藏数据及组合多步工具调用的任务。对 11 个前沿模型的测试表明,多步工具使用仍具挑战性,最强模型的 Pass^3 得分低于 60%。

AI 推荐理由

论文核心聚焦多步工具使用能力的评估,直接针对 Agent 技能学习与 API 调用机制。

研究机构
Hunyuan Team, Tencent Institute for AI Industry Research, Tsinghua University School of Computer Science and Engineering, Southeast University
论文信息
作者 Weihuang Zheng, Tianyuan Zou, Eileen Ye, Alphet Liu, Youyong Kong et al.
发布日期 2026-07-26
arXiv ID 2607.23722
相关性评分 9/10 (高度相关)