MindEdit-Bench：基于野外照片评估视觉语言模型的对象级反事实空间推理

现有视觉语言模型（VLM）基准多测试观察性空间推理。本文提出 MindEdit-Bench，包含六项空间推理任务，利用自动管道从野外拍摄的室内场景三元组中提取 3D 场景图。其中两项新任务专门探测对象级反事实推理，即预测假设移动或旋转物体后的后果，且正确答案不存在于输入图像中。在 15 个 VLM 上的评估显示，模型准确率仅为 8%-31%，远低于人类的 81%-97%，揭示了模型在深度轴推断及复杂可见性编辑上的显著缺陷。