观察、指向、修正：基于视觉反馈的 GUI 定位多轮方法

计算机使用代理（CUA）依赖图形用户界面（GUI）定位将指令转化为操作，但在高密度编码环境中，现有单次预测方法缺乏纠错机制，难以达到亚像素级精度。本文实证研究了编码环境中的像素级光标定位，提出一种利用先前尝试的视觉反馈进行迭代修正的多轮方法。该闭环定位机制使代理能自我纠正位移误差并适应动态 UI 变化。在多种复杂编码基准上的评估表明，该方法在点击精度和任务成功率上显著优于最先进的单次模型，证明迭代视觉推理是下一代可靠软件工程代理的关键组件。