Agent Benchmark Computer Use Multimodal Evaluation
摘要

本文提出 PPT-Eval，一个包含 120 个 PowerPoint 任务的基准测试，涵盖内容创建与编辑场景。针对该领域任务复杂、多模态且解法多样的评估难题，设计了基于量表的鲁棒评估框架，支持部分得分、惩罚冗余操作并提供自然语言反馈。实验表明，现有前沿智能体表现不佳，最强模型成功率仅 45%。该研究为评估现实世界计算机使用智能体的技能提供了新标准。

AI 推荐理由

论文聚焦智能体在 PowerPoint 中的工具使用与操作技能，核心评估其执行复杂多模态任务的能力。

研究机构
Equal contribution, Carnegie Mellon University UMass Amherst, Work done at Microsoft internship, Work done at Microsoft Work done at Microsoft
论文信息
作者 Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai et al.
发布日期 2026-06-30
arXiv ID 2606.31154
相关性评分 9/10 (高度相关)
arXiv 页面 下载 PDF Code