摘要
针对现有桌面 GUI 基准测试将复杂专业工作流简化为短任务且缺乏人机交互的问题,本文提出 DeskCraft 基准。该基准涵盖设计、视频等长程创意工程任务(超 50 步),并形式化了包含中途澄清与事后反馈的人机协作协议。通过对 18 个智能体的评估,揭示了其在长程规划交付及主动澄清方面的持续失败,旨在推动具备复杂规划与协作能力的桌面智能体发展。
AI 推荐理由
论文聚焦长程工作流任务分解与多步执行,核心挑战在于复杂规划能力。
研究机构
浙江大学
清华大学
腾讯
香港大学
论文信息