GUI Grounding Visual Reasoning Reflection Closed-loop
摘要

现有GUI定位模型在小型目标或密集控件上表现不佳,主要归因于缺乏对预测结果的反思与修正机制。本文提出LookAgain,一种由后验视觉反思驱动的闭环GUI定位器。该方法将定位重构为多轮“预测-观察-再观察-修正”过程,包含“定位”(生成假设并锚定空间先验)和“确认”(接受或拒绝假设)两个原语。通过在构建的反思轨迹上进行SFT冷启动及GRPO训练,LookAgain在多个基准测试中实现了最先进性能。

AI 推荐理由

论文核心提出基于视觉反思的多步推理机制,通过预测-观察-修正循环提升GUI定位的准确性。

研究机构
深圳先进技术研究院,哈尔滨工业大学 北京邮电大学 深圳先进院 looping 区域研究所 上海财经大学
论文信息
作者 Renshan Zhang, Haoyang Meng, Yixiao He, Rui Shao, April Hua Liu et al.
发布日期 2026-08-10
arXiv ID 2608.09723
相关性评分 9/10 (高度相关)