解耦大型视觉语言模型可视化素养中的视觉正确性与事实正确性

大型视觉语言模型（LVLM）虽展现强大的图表解读能力，但其响应是源于对视觉证据的真实推理，还是依赖训练中学到的事实先验尚不明确。现有评估混淆了这两者。本文提出框架隔离视觉与事实正确性，揭示现有评估的局限性。实验表明，标准测试的高分可能反映事实回忆而非视觉理解；提出的反事实评估测试（CVLAT）能有效分类模型对视觉或事实的依赖倾向。研究发现提示干预效果因模型而异，高图表阅读能力不预示可控性。可靠的视觉分析集成需评估模型在两者冲突时的仲裁机制。