摘要
本文探讨全模态大语言模型在处理文本前提与视听感知相矛盾的问题时，失败源于感知还是行动。通过引入 IMAVB 基准测试，评估了八个开源模型及 Gemini 3.1 Pro 的冲突检测能力。研究发现存在“表征 - 行动差距”：模型隐藏状态能编码感知不匹配，但输出端常无法拒绝错误前提。行为上表现为欠拒绝或过拒绝两种模式，且音频接地表现弱于视觉。提出的探针引导逻辑调整方法有效改善了拒绝行为，表明瓶颈在于翻译而非感知。
AI 推荐理由
研究多模态模型检测感知与文本矛盾的逻辑推理能力，揭示表征与行动间的差距。
研究机构
南洋理工大学
LMMs-Lab Team
约翰霍普金斯大学
论文信息