GUI Agents Hindsight Distillation Reasoning Enhancement Mobile Automation
摘要

GUI代理通常基于成功交互轨迹进行离线训练。标准训练将轨迹分解为前缀-动作对,即代理根据当前屏幕和历史预测动作,而丢弃后续观察结果。这移除了动作正确的依据,因为证据往往仅出现在后续屏幕上。例如,启用软换行需点击编辑或视图菜单,但直到菜单打开前并无提示。缺乏此类证据导致模仿学习难以捕捉正确的推理过程。为此,我们提出门控后见蒸馏(GHD),在训练中利用下一张截图作为特权信息。学生模型仅基于可观测的前缀进行预测,参数共享的教师模型额外观察下一张截图并对学生的在线响应重新评分。仅当学生失败且教师通过后见视角恢复演示动作时,才应用蒸馏。GHD在AndroidWorld和AndroidLab上提升了任务成功率。

AI 推荐理由

论文核心解决GUI Agent因缺乏后续屏幕信息而导致的推理缺失问题,通过 hindsight 机制增强模型对动作正确性的逻辑推断能力。

研究机构
University of Electronic Science and Technology of China
论文信息
作者 Weiwei Li, Junzhuo Liu, Tong Chu, Hengfu Yu, Wen Li
发布日期 2026-08-06
arXiv ID 2608.06065
相关性评分 9/10 (高度相关)