GUI Agent Multi-role Orchestration Lightweight MLLM Skill Learning
摘要

针对资源受限设备上轻量级图形用户界面(GUI)智能体面临的能力瓶颈与扩展性难题,本文提出 LAMO 框架。该框架结合面向角色的数据合成与两阶段训练策略:首先利用困惑度加权交叉熵进行监督微调以增强知识蒸馏与视觉感知,随后通过强化学习实现面向角色的协作探索。由此构建的 LAMO-3B 智能体支持单体执行及多智能体系统编排,并能作为即插即用策略执行器与高级规划器协同工作,显著提升了轻量级模型在复杂 GUI 工作流中的自动化能力与性能上限。

AI 推荐理由

论文核心在于通过多角色编排提升轻量级模型在 GUI 场景下的工具使用与任务执行技能。

研究机构
浙江大学关键交叉学科智能感知与人机交互实验室
论文信息
作者 Ziwei Wang, Junjie Zheng, Leyang Yang, Sheng Zhou, Xiaoxuan Tang et al.
发布日期 2026-04-15
arXiv ID 2604.13488
相关性评分 9/10 (高度相关)