摘要
基于大语言模型的图形用户界面(GUI)智能体正广泛应用于移动、Web和桌面环境,但现有模型通常局限于特定领域,限制了部署效果。为此,本文提出MAGA方法,旨在将专用模型整合为跨环境的统一策略。针对权重合并可能破坏可执行动作以及在线知识蒸馏忽视动作令牌重要性的问题,MAGA根据生成动作的正确性重新分配训练信号,抑制无效信号并聚焦于错误动作的学习。此外,引入仅训练提示以优化监督信号。实验表明,MAGA在不同模型规模下均取得了最高的平均成功率,显著优于最强基线。
AI 推荐理由
论文聚焦GUI Agent的工具使用(动作执行),通过结构化动作蒸馏优化技能学习,属于核心研究。
研究机构
西安交通大学
蚂蚁集团
上海交通大学
论文信息