摘要
针对多模态智能体在真实桌面环境中执行长程 GUI 任务时面临的轨迹发现难、反馈稀疏且昂贵等挑战,本文提出环境原生验证搜索(ENVS)。该方法是一种训练时的搜索与过滤流程,利用实时操作系统虚拟机对环境进行分支探索,验证成功路径并构建全局平衡的步级监督信号以优化策略。此外,文章引入了 OSWorld-Noisy 基准以评估智能体在动态干扰下的鲁棒性。实验表明,ENVS 在降低计算成本的同时显著提升了任务通过率及视觉推理能力。
AI 推荐理由
论文核心解决长程 GUI 任务中的轨迹搜索与规划问题,通过环境验证搜索优化多步动作序列。
研究机构
University of Pennsylvania
Peking University
论文信息