摘要
针对现有计算机使用代理（CUA）批评模型存在的短视决策循环及缺乏视觉接地两大局限，本文提出 HiViG 框架。该框架包含多模态批评器，能将过往交互抽象为紧凑的宏观动作历史记录，并结合当前截图进行视觉接地验证。在测试时，HiViG 将批评机制集成至策略决策环中，既总结已完成成就以缓解短视规划，又在执行前拦截坐标错误。实验表明，该方法在跨平台基准上显著优于现有基线，有效提升了长程 GUI 任务的成功率。
AI 推荐理由
论文核心解决 Agent 短视规划问题，通过历史摘要优化长程任务决策。
研究机构
University of North Carolina at Chapel Hill
Capital One
University of Texas at Austin
论文信息