3D HAMSTER：通过 3D 轨迹引导弥合分层视觉语言动作模型中的规划与控制

分层视觉 - 语言 - 动作（VLA）模型通过将高层规划与底层控制解耦来提升机器人操作的泛化能力。然而，现有方法使用缺乏深度信息的 2D 轨迹作为指导，导致几何失真。本文提出 3D HAMSTER，一种分层框架，通过增强视觉语言模型（VLM）使其直接输出度量可靠的 3D waypoint 序列，从而弥合这一差距。该框架将深度编码器与密集深度重建目标结合，生成的 3D 轨迹直接集成到基于点云的底层策略中。实验表明，该方法在轨迹预测、仿真及真实操作中均优于现有基线，尤其在外观变化及未见过的语言和空间条件下表现显著。