GUI Agent Visual State Transitions Pretraining World Model Multimodal Learning
摘要

本文引入状态转换预训练(STP)作为 GUI 智能体的新扩展维度。在 STP 阶段,通过联合优化逆动力学(从状态变化预测动作)和正动力学(从当前状态及动作预测下一状态),对统一多模态模型进行持续预训练。该优化赋予模型更优的动作接地视觉表示及 GUI 动态内部世界模型。随后在含任务指令的轨迹上进行微调时,STP 训练模型在桌面和移动 GUI 场景的多个基准测试中均显著优于仅经直接轨迹微调的基线模型。实证研究表明,联合动力学优化比单目标训练带来更稳定的提升,且下游性能随转换数据量稳步扩展。

AI 推荐理由

论文提出新预训练范式提升 GUI Agent 的动作执行与状态理解能力,核心聚焦技能学习。

研究机构
NUS Sea AI Lab UTS University of Liverpool
论文信息
作者 Xiangyan Liu, Kaixin Li, Haonan Wang, Biao Wu, Meng Fang et al.
发布日期 2026-07-27
arXiv ID 2607.24112
相关性评分 9/10 (高度相关)