面向移动 GUI 导航的视觉 - 语言智能体的扩展、基准测试与推理

本文系统研究了基于视觉 - 语言模型（VLM）的智能体在移动图形用户界面导航中的数据扩展、基准测试与推理能力。作者提出了包含超 1.6 万个真实任务的大规模数据集 HyperTrack，以及用于统一评估的开源工具包 GUIEvalKit。研究发现，强化学习微调在域外设置下显著优于监督微调，凸显了数据扩展与强化学习的协同效应。此外，文章还基准测试了前沿 VLM，并分析了交互历史与推理能力对任务完成率的具体影响。