摘要
现有计算机使用基准难以反映真实世界的复杂性及长程需求。本文提出 OSWorld 2.0,涵盖 108 个长程工作流,旨在捕捉真实场景中的复杂现象。任务平均需数百次工具调用,涉及流式交互、动态环境及跨源推理等挑战。实验表明,即便最先进的智能体在长程任务中表现仍不佳,常因丢失约束、忽略中途信息或跳过验证而失败,距离专业级应用尚有显著差距。
AI 推荐理由
论文聚焦长程任务基准,核心挑战在于多步规划、状态追踪及复杂工作流执行。
研究机构
XLANG Lab
论文信息