摘要
图形用户界面(GUI)定位需将自然语言指令映射为精确像素坐标,但模型常因界面元素同质化和布局密集而难以精准定位。本文提出以可学习的选择机制替代静态一致性策略,通过批评者对截图上生成的提议进行评估以选出最优目标。针对两者能力差异,构建了“先提议后批评”的协同进化框架,并引入成熟度感知的自适应协同进化强化学习范式。该方法动态平衡训练目标,利用提议多样性增强批评鲁棒性,同时借助批评能力的提升激发提议者的空间探索潜力,实现双向促进与共同进化,显著提升定位精度与批评可靠性。
AI 推荐理由
论文提出协同进化框架,通过强化学习实现提议者与批评者的自我改进与共同进化。
研究机构
浙江大学
腾讯AI实验室
香港大学
论文信息