摘要
新兴的世界-动作模型(WAMs)在自动驾驶中表现优异,但现有方法仅基于2D视频数据训练,无法理解底层4D场景结构,导致生成的未来预测虽视觉合理但4D不一致,误导下游规划。为此,本文提出4D-WAM,利用几何基础模型提供训练时监督以实现4D一致的世界建模。具体而言,将WAM预测的未来帧输入几何基础模型,利用4D感知响应定义4D一致性损失,促使模型在训练中理解并预测物理一致的4D场景,且无额外推理成本。此外,识别出WAMs中的早期决策现象,提出面向决策的时间步采样策略,强化高噪声早期阶段的监督,从而进一步提升轨迹规划性能。实验表明,4D-WAM在NAVSIM基准上达到最先进性能。
AI 推荐理由
论文核心解决自动驾驶中的轨迹规划问题,通过4D一致性建模提升下游规划性能。
研究机构
中国科学技术大学
西安交通大学
银江智能技术(深圳)有限公司
美的集团
论文信息