摘要
本文提出了一种替代范式,通过将3D感知与推理显式解耦来探索空间推理。鉴于现代感知模型擅长估计连续3D几何结构,而大语言模型(LLM)在组合和符号推理方面表现优异,我们提出了Disentangled Spatial Reasoner (DiSR)。该框架利用现成的专家感知模型重建物理世界为结构化3D证据,并通过LoRA微调LLM仅基于这些显式几何证据进行推理。DiSR无需大规模3D VQA训练或复杂的工具使用策略,即在主流空间推理基准上取得了具有竞争力的性能,同时提供了更好的可解释性、模块化及计算效率。
AI 推荐理由
论文核心在于通过解耦感知与推理,利用LLM进行显式的几何证据推理,直接提升空间推理能力。
研究机构
合肥工业大学
中国科学技术大学
论文信息