摘要
针对基于指点的视觉定位任务，本文提出 PointVG-R，一种推理引导的多模态大语言模型。传统方法常忽略图像中的显式空间几何信息，而本研究通过整合强化学习与冷启动数据，引入几何感知推理机制，使模型能模拟人类解读手势的迭代认知过程。此外，构建了包含详细推理轨迹的高质量视觉思维链数据集 EgoPoint-CoT，用于监督微调与强化学习，并提出基于组方差的自适应重要性加权策略以优化训练信号。实验表明，该方法在 mIoU 指标上超越基线 15.86 个点，达到最先进水平。
AI 推荐理由
论文核心提出几何感知推理机制与视觉思维链，旨在增强多模态模型的空间推理能力。
研究机构
清华大学
北京，中国
大连理工大学
大连，中国
西北工业大学
西安，中国
武汉大学
武汉，中国
论文信息