摘要
针对资源受限平台部署视觉语言模型(VLM)的需求,本文提出MoRAL,一种两阶段微调流程。该方法教导Cosmos-Reason2-2B模型读取编码了LiDAR距离、物体类别及雷达速度的鸟瞰图(BEV),并据此进行驾驶决策推理。第一阶段对视觉编码器进行接地训练;第二阶段利用8B教师模型生成的思维链数据微调全模型。实验显示,MoRAL在nuScenes数据集上显著优于零样本基线,尤其在需要多步物理推理的任务中表现突出,且能在消费级GPU上高效运行。
AI 推荐理由
论文核心在于通过BEV表示和思维链数据微调,提升模型在自动驾驶场景下的结构化多步物理推理能力。
研究机构
圣何塞州立大学计算机工程系
论文信息