摘要
针对现有视觉 - 语言 - 动作模型缺乏未来状态预测能力的问题,本文提出 X-Mind 框架。该框架将预测世界模型内化为视觉思维链,强制模型在行动前进行未来推演。为解决效率瓶颈,文章引入了融合鸟瞰图与驾驶先验的抽象草图表示,并利用深度压缩自编码器将未来帧 rollout 压缩至极少 token;同时提出循环块扩散方案,将迭代去噪折叠进单次前向传播。实验表明,该方法在大规模真实数据上实现了低延迟、高性能的端到端驾驶。
AI 推荐理由
提出视觉思维链机制,将预测世界模型内化为推理过程,核心解决端到端驾驶中的前瞻性推理问题。
研究机构
小鹏汽车
论文信息