摘要
针对现有 3D 问答方法依赖昂贵标注和特定训练的局限,本文提出 ViewMind3D,一种完全免训练且模块化的框架。该框架通过问题驱动的多视图选择、语言引导的视觉定位、鸟瞰图空间上下文编码及基于角色的结构化答案生成四个组件,实现了对多视图场景的可解释空间推理。实验表明,该方法在 ScanQA 和 SQA3D 基准上取得了与微调模型相当的竞争力,尤其在空间定位类问题上表现优异,证明了通用大模型协同进行有效 3D 推理的潜力。
AI 推荐理由
论文核心提出模块化推理框架,解决 3D 空间推理问题,无需训练即可实现结构化推断。
研究机构
Sun Yat-sen University
论文信息