摘要
针对现有移动 GUI Agent 基准多依赖模拟环境或开源应用的问题,本文提出 AndroidDaily,涵盖 94 款高频闭源安卓应用的 350 个真实日常任务。为解决闭源应用内部状态不可见导致的自动验证难题,设计了基于外部可观察指南的 GRADE 评估器,通过操作义务、输出质量及负向约束三层体系,对 Agent 视觉轨迹进行步骤级诊断。实验表明 GRADE 与人类评估一致性达 87.37%,最强模型成功率仅 62.0%,凸显了当前 Agent 在真实移动工作流中规划与执行能力的不足。
AI 推荐理由
论文评估移动 Agent 在真实应用中的长程任务执行与规划能力,揭示推理与执行的差距。
研究机构
北京邮电大学
电信工程学院
Waseda University
论文信息