摘要
组合式视觉问答要求视觉语言模型执行对象选择、空间关系解析等多步推理操作。尽管整体性能强劲，但其失败机制尚不明确。本文提出以操作为中心的机械框架，分解失败来源与传播路径。分析揭示了四种截然不同的失败模式：接地失败、推理失败、属性提取失败及语言先验主导失败。通过因果干预实验，证明了不同失败类型 routed 于不同的内部计算路径（如前馈网络或注意力机制），表明需针对性策略提升模型可靠性。
AI 推荐理由
论文深入分析 VLM 在组合式问答中的推理操作失败机制及内部计算路径，属核心研究。
研究机构
Singapore Institute of Technology
Singapore
NVIDIA
论文信息