摘要
针对视觉语言模型(VLM)在施工区域因缺乏熟悉视觉线索而推理失效的问题,本文提出 WorkDrive 框架。该框架构建基于感知的因果推理机制,并将其与轨迹预测对齐。通过自动化多任务感知管道提取结构化场景事实,注入因果链标注流程以引导注意力。利用生成的推理标签进行监督微调,并结合基于横向元动作与预测轨迹一致性的强化学习。实验表明,该方法显著降低了轨迹平均位移误差,实现了优于基线的渐进式改进。
AI 推荐理由
论文提出因果推理链(CoC),核心解决 VLM 在施工区场景下的推理对齐与决策问题。
研究机构
北京大学
小米集团
论文信息