摘要
计算机使用代理（CUA）虽能自动化屏幕工作，但在复杂低频交互上可靠性不足。研究发现图形界面操作存在长尾分布，复杂交互数据稀缺是主要瓶颈。为此，作者提出 CUActSpot 基准，涵盖五种模态及多种动作类型，超越以往仅关注点击的基准。同时设计基于渲染器的数据合成流水线，自动生成场景、截图及指令轨迹。训练后的 Phi-Ground-Any-4B 模型在参数量小于 32B 的情况下优于现有开源模型。
AI 推荐理由
论文聚焦计算机使用代理的技能，解决复杂交互数据稀缺问题，提升工具操作能力。
研究机构
Southeast University
Mohamed bin Zayed University of Artificial Intelligence
Sun Yat-sen University
Microsoft
Wuhan University
论文信息