Vision-and-Language Navigation Task Planning Decoupled Architecture
摘要

视觉-语言导航(VLN)要求智能体根据第一人称视觉观察执行由指令构成的步骤。现有基于VLM的导航器通常仅通过下一步动作预测来监督这两种能力,导致难以区分进度跟踪错误与执行错误。为此,我们提出Route2Step框架,通过显式的步骤级接口将语义进度跟踪与动作生成解耦。指令分析模块预测全局指令和视觉历史的状态;动作生成模块基于预测状态和近期观察生成局部动作块。此外,我们提出E-SPA步骤对齐过程,在无手动时间标签的情况下关联子指令与演示片段,从而实现对进度状态的监督。实验表明该方法显著提升了性能。

AI 推荐理由

论文核心解决VLN中的任务规划问题,通过解耦语义进度跟踪与动作生成,优化多步计划执行。

研究机构
北京航空航天大学 南方科技大学 中南大学 深圳理工大学
论文信息
作者 Xiangyun Huang, Xiangchen Wang, Runfeng Lin, Yihao Xu, Kangyu Huang et al.
发布日期 2026-08-04
arXiv ID 2608.03143
相关性评分 9/10 (高度相关)