Mobile Agent Benchmark GUI Automation Evaluation
摘要

针对现有移动 GUI Agent 基准多依赖模拟环境或开源应用的问题,本文提出 AndroidDaily,涵盖 94 款高频闭源安卓应用的 350 个真实日常任务。为解决闭源应用内部状态不可见导致的自动验证难题,设计了基于外部可观察指南的 GRADE 评估器,通过操作义务、输出质量及负向约束三层体系,对 Agent 视觉轨迹进行步骤级诊断。实验表明 GRADE 与人类评估一致性达 87.37%,最强模型成功率仅 62.0%,凸显了当前 Agent 在真实移动工作流中规划与执行能力的不足。

AI 推荐理由

论文评估移动 Agent 在真实应用中的长程任务执行与规划能力,揭示推理与执行的差距。

研究机构
北京邮电大学 电信工程学院 Waseda University
论文信息
作者 Yifan Sui, Xin Huang, Hongbing Li, Fang Xu, Jiahe Lv et al.
发布日期 2026-05-26
arXiv ID 2605.27761
相关性评分 8/10 (高度相关)