摘要
本文提出“视觉接地思维”,要求模型在生成自然语言推理轨迹时,显式关联对应的图像区域(点或框)。为解决监督难题,作者构建了可扩展的合成流水线,利用 SAM3 代理提取并接地视觉对象,并结合答案正确性与密集接地奖励进行强化学习训练。实验表明,该方法在计数和空间推理任务上显著优于基线,甚至使 4B 模型媲美同系列 27B 模型,证明将中间思维与图像证据绑定能有效提升 VLM 的推理能力。
AI 推荐理由
论文提出视觉接地思维,核心在于通过显式视觉证据增强多模态推理过程的可验证性与准确性。
研究机构
University of California, Los Angeles
论文信息