GUI Agent Long-Horizon Planning Environment Verification Reinforcement Learning
摘要

针对多模态智能体在真实桌面环境中执行长程 GUI 任务时面临的轨迹发现难、反馈稀疏且昂贵等挑战,本文提出环境原生验证搜索(ENVS)。该方法是一种训练时的搜索与过滤流程,利用实时操作系统虚拟机对环境进行分支探索,验证成功路径并构建全局平衡的步级监督信号以优化策略。此外,文章引入了 OSWorld-Noisy 基准以评估智能体在动态干扰下的鲁棒性。实验表明,ENVS 在降低计算成本的同时显著提升了任务通过率及视觉推理能力。

AI 推荐理由

论文核心解决长程 GUI 任务中的轨迹搜索与规划问题,通过环境验证搜索优化多步动作序列。

研究机构
University of Pennsylvania Peking University
论文信息
作者 Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang et al.
发布日期 2026-06-22
arXiv ID 2606.22948
相关性评分 9/10 (高度相关)