摘要
视觉语言模型(VLM)在多步推理过程中常出现视觉定位丢失现象,即随着推理链延长,后续步骤越来越依赖语言先验而非图像证据。本文识别出这一退化的基准特征,并提出 ReGround 框架,教导 VLM 自我诊断定位失败并选择性复查视觉证据。该方法无需架构修改或外部工具,通过能力引导,使策略模型在推理时能自主诊断。实验表明,该框架在八个基准测试中均取得一致增益,尤其在视觉密集型多步推理任务上效果显著,且推理开销适中。
AI 推荐理由
论文直接解决多步推理中的视觉 grounding 退化问题,通过自我诊断和重新检查提升推理准确性,属于核心研究。
研究机构
中国科学技术大学
中国科学技术大学 artificial intelligence and data science school
中国科学技术大学 precision and intelligent chemistry state key laboratory
论文信息