Spatial Reasoning Evaluation Benchmark Multimodal LLM Visual Credit Audit
摘要

针对封闭型空间基准测试可能错误奖励非视觉依赖答案的问题,本文提出视觉信用审计(VCA)方法。该方法无需训练或标签,旨在分离两个关键估计量:图像是否比纯文本或空白控制组提供更多支持,以及模型是否响应特定关系视觉证据。通过引入“依赖 credited 正确性”(D-CC)指标,研究揭示了在多个主流多模态大模型中,存在大量正确但缺乏图像支持的决策。实验表明,图像置换显著降低 D-CC,证明了现有基准的局限性。VCA 成功将基准表现分解为正确性、额外图像支持及关系一致性响应三个维度。

AI 推荐理由

论文核心研究多模态空间推理能力的评估与归因,提出新指标分解推理正确性。

研究机构
中国科学院计算技术研究所人工智能安全实验室 中国科学院大学
论文信息
作者 Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen et al.
发布日期 2026-07-29
arXiv ID 2607.27069
相关性评分 9/10 (高度相关)