基于全局地图与局部视图的多视角 3D 推理密集奖励方法

多视角 3D 视觉问答（MV3D-VQA）需整合局部观测构建连贯 3D 场景表示，并选择信息丰富的视角进行多步空间推理。针对当前多模态大模型因稀疏监督导致跨视角推理不一致及视角选择脆弱的问题，本文提出 DR-MV3D 框架。该方法将任务分解为全局地图构建、条件化视角轨迹规划及自我中心定位预测三步。通过引入全局一致性奖励和局部轨迹奖励，利用冻结的 3D 视觉基础模型生成伪目标，在无人工标注下实现中间步骤的可学习性，并结合轨迹级策略优化（GRPO）训练全流程。实验表明该方法显著优于现有基线。