摘要
现有图形用户界面(GUI)代理依赖逐步调用视觉语言模型,导致成本高、延迟大且缺乏持久记忆。本文提出 ActionEngine,一种无需训练的框架,通过双代理架构实现从反应式执行到程序化规划的转变:爬取代理构建可更新的状态机记忆,执行代理利用该记忆合成完整的可执行 Python 程序。针对界面演变,设计了基于视觉的重定位 fallback 机制以修复失败动作并更新记忆。实验表明,该方法在 WebArena 基准上成功率达 95%,显著降低成本与延迟。
AI 推荐理由
论文提出从反应式执行转向程序化规划,核心是通过状态机记忆生成完整可执行计划。
研究机构
佐治亚理工学院
微软研究院
论文信息