摘要
本文针对现有视觉语言模型难以跨应用准确推断移动界面操作的问题，提出了 Teach VLM 模型。该模型能从演示视频轨迹中提取关键帧并转化为逐步的操作知识。为解决数据稀缺，作者构建了系统性数据飞轮及中文评测基准。基于此提出的
AI 推荐理由
论文核心在于从演示中提取操作知识以赋能 GUI Agent 的工具使用和执行技能。
研究机构
Honor Device Co., Ltd
The Chinese University of Hong Kong, Hong Kong, China
论文信息