摘要
视觉-语言导航(VLN)要求智能体根据第一人称视觉观察执行由指令构成的步骤。现有基于VLM的导航器通常仅通过下一步动作预测来监督这两种能力,导致难以区分进度跟踪错误与执行错误。为此,我们提出Route2Step框架,通过显式的步骤级接口将语义进度跟踪与动作生成解耦。指令分析模块预测全局指令和视觉历史的状态;动作生成模块基于预测状态和近期观察生成局部动作块。此外,我们提出E-SPA步骤对齐过程,在无手动时间标签的情况下关联子指令与演示片段,从而实现对进度状态的监督。实验表明该方法显著提升了性能。
AI 推荐理由
论文核心解决VLN中的任务规划问题,通过解耦语义进度跟踪与动作生成,优化多步计划执行。
研究机构
北京航空航天大学
南方科技大学
中南大学
深圳理工大学
论文信息