摘要
针对 GUI 智能体数据获取困难导致泛化差和细粒度视觉定位能力不足的问题,本文提出 GUICrafter。该方法利用海量未标注截图,通过两阶段课程学习框架训练智能体:首先从无标注数据中学习视觉定位,随后利用少量高质量数据经强化学习校准。实验表明,GUICrafter 仅用 UI-TARS 0.1% 的数据量即达到相当甚至更优性能,且在同等标注数据下超越现有方法,显著降低了对人工标注的依赖。
AI 推荐理由
论文核心解决 GUI Agent 的视觉定位与交互技能,通过弱监督学习提升工具使用能力。
研究机构
清华大学
论文信息