摘要
现有计算机使用代理在专业软件操作中受限:GUI 代理视觉定位脆弱且误差累积,API 方法难以应对异构协议。本文提出 COM-as-Action 范式,将软件交互重构为确定性程序合成而非序列视觉控制。为此构建了首个工业 CAD 软件基准 ComCADBench,并开发了基于三阶段渐进训练框架的自修正代理 ComActor 及大规模训练平台 ComForge。实验表明,该方法在长程任务中表现优异,显著超越了基于 GUI 的前沿模型,实现了状态最先进的性能。
AI 推荐理由
论文提出 COM-as-Action 新范式,核心解决 Agent 在专业软件中的工具使用与技能执行问题。
研究机构
上海人工智能实验室
清华大学
论文信息