摘要
尽管 GUI 智能体在网页导航和基础操作系统任务中进展显著,但其在专业创意工作流中的能力仍鲜有探索。为此,本文提出 CutVerse,一个旨在系统评估自主 GUI 智能体在真实媒体后期制作环境中表现的基准。该基准涵盖 7 种专业应用(如 Premiere Pro、Photoshop),包含 186 个基于真实编辑流程的复杂长程任务,涉及密集的多模态界面和紧密耦合的交互序列。为支持可扩展评估,我们开发了一种轻量级解析器,将原始屏幕录制和低级交互日志转化为具有精确落地的结构化组合式 GUI 动作轨迹。广泛评估显示,现有智能体在真实媒体编辑任务上的成功率仅为 36.0%,凸显了基准中复杂长程工作流带来的挑战。
AI 推荐理由
论文聚焦长程任务规划挑战,评估 Agent 在复杂工作流中的目标导向行为与分解能力。
研究机构
MIPG, Communication University of China
National University of Singapore
USEIT AI
论文信息