CounterCount：视觉语言模型中计数偏差的诊断框架

视觉语言模型（VLMs）在多模态推理方面表现优异，但其回答是基于视觉证据还是语言与世界先验尚不明确。计数提供了精确的测试场景：当视觉证据与典型物体知识冲突时，模型必须依赖图像而非原型计数。本文提出 CounterCount，一个用于 VLM 反事实计量的诊断框架，包含配对的事实与反事实图像、编辑后的计数相关属性、验证答案及局部证据标注。评估发现，模型在事实图像上表现良好，但在反事实属性变化下性能显著下降，表明其过度依赖物体级先验。利用局部标注，研究证实失败源于模型对计数相关视觉 token 的注意力权重不足。为此，作者提出一种统一的推理时注意力调制策略，重选视觉 token，使多个 VLM 的反事实计数准确率提升高达 8%。