MuseVLA：一种用于机器人操作的自适应多模态感知视觉 - 语言 - 动作模型

针对现有视觉 - 语言 - 动作（VLA）模型仅依赖 RGB 观测的局限，本文提出 MuseVLA，一种自适应多模态感知 VLA 模型。该模型将新型传感器集成作为按需工具，通过生成传感器令牌和目标描述来选择感知模态，并将异构传感器数据转换为统一的接地传感器图像进行融合。此外，文章引入数据合成流水线以增强现有数据集，减少对昂贵多感官数据的依赖。实验表明，MuseVLA 在需要多模态输入的复杂机器人操作任务中表现优异，平均成功率达 80.6%，显著超越基线并具备强大的零样本泛化能力。