摘要
当前多模态大语言模型(MLLMs)虽能处理多种感官输入,但其推理过程严重偏向主导模态,导致跨模态推理脆弱。本文提出C^3PO基准,包含3404个样本,涵盖视频、音频、图像和文本,旨在评估信息组合(融合分散证据)和反事实冲突(解决故意矛盾)两项能力。通过自动生成的配对结构,C^3PO揭示了模型在何时及为何失败。实验显示,尽管人类准确率达88.64%,最佳模型仅73.17%。注意力探针发现,86-95%的失败源于模态主导现象,即模型过度关注文本而忽略矛盾证据。研究表明,多模态感知并不保证鲁棒的推理,架构需支持持续的跨模态注意力以避免过早收敛。
AI 推荐理由
论文核心评估多模态模型在跨模态信息融合与反事实冲突解决中的推理能力,直接关联推理机制。
研究机构
Microsoft Research India
IIIT Hyderabad, India
论文信息