GUI Automation Skill Learning RPA Agent Tools
摘要

图形用户界面流程自动化(GPA)是一种轻量级且通用的视觉机器人流程自动化技术,仅需单次演示即可实现快速稳定的流程复现。针对传统 RPA 的脆弱性及当前视觉语言模型代理的非确定性风险,GPA 引入三大核心优势:基于序列蒙特卡洛的定位鲁棒性、就绪校准保障的确定性可靠性,以及全本地执行带来的隐私安全。该方法可作为其他具备编码能力代理的 MCP/CLI 工具,使代理专注于推理与编排,而由 GPA 处理界面执行。实验表明,其在长程任务中成功率更高且速度快十倍。

AI 推荐理由

论文核心研究基于演示的 GUI 自动化技能学习,属于 Agent 工具使用与执行能力的范畴。

研究机构
Salesforce AI Research
论文信息
作者 Zirui Zhao, Jun Hao Liew, Yan Yang, Wenzhuo Yang, Ziyang Luo et al.
发布日期 2026-04-02
arXiv ID 2604.01676
相关性评分 9/10 (高度相关)