GUI Agent Weakly-Supervised Learning Visual Grounding Data Efficiency
摘要

针对 GUI 智能体数据获取困难导致泛化差和细粒度视觉定位能力不足的问题,本文提出 GUICrafter。该方法利用海量未标注截图,通过两阶段课程学习框架训练智能体:首先从无标注数据中学习视觉定位,随后利用少量高质量数据经强化学习校准。实验表明,GUICrafter 仅用 UI-TARS 0.1% 的数据量即达到相当甚至更优性能,且在同等标注数据下超越现有方法,显著降低了对人工标注的依赖。

AI 推荐理由

论文核心解决 GUI Agent 的视觉定位与交互技能,通过弱监督学习提升工具使用能力。

研究机构
清华大学
论文信息
作者 Sunqi Fan, Lingshan Chen, Runqi Yin, Qingle Liu, Yongming Rao et al.
发布日期 2026-06-29
arXiv ID 2606.29705
相关性评分 9/10 (高度相关)