迈向可预测、对齐且可扩展的机器人学习

本文提出 Lumo-2，一种潜在世界 - 动作模型，通过在潜在空间中推理世界动力学来生成动作。该模型捕捉物理基础的视觉转换，编码未来可能性，为跨模态对齐提供统一基础。针对传统重建目标导致的表征偏差，作者提出多阶段模态预对齐策略，逐步将动作表征与潜在世界动力学、视觉及语言对齐，以诱导结构化潜在空间支持预测性推理。实证研究表明，Lumo-2 在需要时间推理和复杂控制的真实任务中显著优于现有基线。