摘要
图形用户界面流程自动化(GPA)是一种轻量级且通用的视觉机器人流程自动化技术,仅需单次演示即可实现快速稳定的流程复现。针对传统 RPA 的脆弱性及当前视觉语言模型代理的非确定性风险,GPA 引入三大核心优势:基于序列蒙特卡洛的定位鲁棒性、就绪校准保障的确定性可靠性,以及全本地执行带来的隐私安全。该方法可作为其他具备编码能力代理的 MCP/CLI 工具,使代理专注于推理与编排,而由 GPA 处理界面执行。实验表明,其在长程任务中成功率更高且速度快十倍。
AI 推荐理由
论文核心研究基于演示的 GUI 自动化技能学习,属于 Agent 工具使用与执行能力的范畴。
研究机构
Salesforce AI Research
论文信息