GUI Agent Reinforcement Learning Mobile Automation Evaluation Framework
摘要

GUI 代理通过视觉界面而非程序化 API 驱动应用,触及 CLI 代理无法覆盖的长尾软件。然而,该领域进展受限于缺乏连贯的全栈基础设施。本文提出 ClawGUI,一个解决此问题的开源框架。其包含支持并行虚拟环境与真实设备的 RL 训练设施、标准化评估流水线以及可部署至多平台的代理系统。在该框架下端到端训练的 ClawGUI-2B 模型在 MobileWorld 基准上成功率达 17.1%,显著优于同规模基线。

AI 推荐理由

论文核心构建 GUI Agent 技能训练与评估框架,聚焦工具使用与交互能力。

研究机构
浙江大学
论文信息
作者 Fei Tang, Zhiqiong Lu, Boxuan Zhang, Weiming Lu, Jun Xiao et al.
发布日期 2026-04-13
arXiv ID 2604.11784
相关性评分 9/10 (高度相关)