Tool Use Skill Internalization Vision-Language Models Embodied AI
摘要

视觉语言模型(VLM)在具身智能体中应用广泛,但存在通用模型缺乏视觉细节、专用模型无法决策的能力错配。本文提出 SpatialCLI 框架,通过三阶段训练教 VLM 使用空间工具并内化其感知能力:调用工具增强感知、利用冷启动 SFT 和强化学习优化工具使用、将成功轨迹言语化以内化能力。实验表明,该方法显著提升了模型在组合感知任务上的表现,且在脱离工具后仍保留大部分性能。

AI 推荐理由

论文核心在于教授 Agent 使用空间工具并内化技能,属于典型的技能学习与工具使用研究。

研究机构
浙江大学 之江实验室 电子科技大学 北京理工大学 深圳大学 香港中文大学
论文信息
作者 Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang et al.
发布日期 2026-07-30
arXiv ID 2607.27703
相关性评分 9/10 (高度相关)