3D Visual Grounding Zero-Shot Learning Chain-of-Thought LLM Reasoning
摘要

零样本3D视觉定位旨在基于文本描述和3D视觉输入定位特定物体。现有方法受限于查询文本模糊和视角缺失。为此,我们提出TDVR,一种无需训练的推理框架,通过消歧输入文本并推断准确视角来解决这些问题。首先,从3D点云检测实例构建语义3D场景图。随后,将原始查询、外观及空间关系描述输入LLM进行融合以消歧初始输入,并利用思维链生成结构化表示。接着,结合场景图和结构化查询进行视角推理以确定最佳视角,解决定位过程中的视角缺失问题。基于最佳视角,进一步区分干扰对象以具备区分相似实例的能力。最后,通过计算特征向量相似度匹配类别文本和外观图像,并整合视角得分、混淆得分、类别得分和外观得分来识别目标物体。在ScanRefer数据集上的实验表明,TDVR在Acc@0.25和Acc@0.5上分别优于现有最先进方法15.25%和14.46%,证明了其在处理模糊查询文本和视角缺失方面的有效性。

AI 推荐理由

论文核心利用LLM进行文本消歧和视角推理,明确使用思维链技术解决3D视觉定位中的模糊查询问题。

研究机构
西北工业大学软件学院 西北工业大学计算机学院
论文信息
作者 Qingxi Du, Junbo Wang, Yuke Li, Yining Zhu
发布日期 2026-08-04
arXiv ID 2608.03763
相关性评分 9/10 (高度相关)