摘要
大型语言模型正日益作为智能体部署,需在多步骤中与有状态环境交互,包括收集隐藏信息、组合工具调用及提交状态变更。现有基准常局限于孤立 API 调用或短轨迹。本文提出 E-Bench,一个涵盖三个产品领域(王者荣耀、QQ 音乐、腾讯会议)的全合成基准,包含 323 个状态变更任务。该基准通过图引导数据库填充构建可复用环境,并利用生成器 - 求解器不对称性创建需发现隐藏数据及组合多步工具调用的任务。对 11 个前沿模型的测试表明,多步工具使用仍具挑战性,最强模型的 Pass^3 得分低于 60%。
AI 推荐理由
论文核心聚焦多步工具使用能力的评估,直接针对 Agent 技能学习与 API 调用机制。
研究机构
Hunyuan Team, Tencent
Institute for AI Industry Research, Tsinghua University
School of Computer Science and Engineering, Southeast University
论文信息