用于机器人规划的结构化 4D 潜变量预测模型

视频预测模型为机器人任务泛化和长程规划提供了新范式，但现有方法多基于 2D 序列，缺乏精确的空间推理能力。本文提出一种结构化 4D 潜变量预测模型，在观测和文本指令条件下预测场景 3D 结构的演化。该模型作为规划器生成未来场景，并通过目标条件的逆动力学模块转化为可执行动作。实验表明，该方法在 3D 一致性和多视图相干性上优于现有技术，在复杂操作任务中表现卓越，并具备强大的泛化能力和实机部署效果。