摘要
现有GUI定位模型在小型目标或密集控件上表现不佳,主要归因于缺乏对预测结果的反思与修正机制。本文提出LookAgain,一种由后验视觉反思驱动的闭环GUI定位器。该方法将定位重构为多轮“预测-观察-再观察-修正”过程,包含“定位”(生成假设并锚定空间先验)和“确认”(接受或拒绝假设)两个原语。通过在构建的反思轨迹上进行SFT冷启动及GRPO训练,LookAgain在多个基准测试中实现了最先进性能。
AI 推荐理由
论文核心提出基于视觉反思的多步推理机制,通过预测-观察-修正循环提升GUI定位的准确性。
研究机构
深圳先进技术研究院,哈尔滨工业大学
北京邮电大学
深圳先进院 looping 区域研究所
上海财经大学
论文信息