摘要
现有图形用户界面（GUI）智能体多在离线或模拟环境中训练，难以反映真实应用的复杂状态分布。本文提出 Xiaomi-GUI-0，一种面向真实移动环境的原生多模态 GUI 智能体。其核心采用以真机为主导的混合基础设施，确保数据收集、训练及评估分布贴近实际部署。通过构建多源训练数据及误差驱动的数据飞轮机制，将失败轨迹转化为修正动作与反思解释。模型经三阶段渐进式训练，在真实移动测试集及公开基准上显著提升了任务成功率、执行稳定性及异常状态识别能力。
AI 推荐理由
论文核心构建原生多模态 GUI Agent，专注于真实移动环境下的端到端交互技能（点击、滑动等）与执行稳定性。
研究机构
小米
论文信息