摘要
视觉语言模型中的幻觉常被视为语义错误，实则多源于部分或模糊的视觉证据。现有工作多聚焦于生成时的检测或抑制，忽视了随后的推理阶段。本文研究“后幻觉推理”（PHR），即幻觉语义进入推断上下文并影响下游预测的过程。为此，我们提出 HIVE，一种评估基础设施，用于在受控条件下比较忠实描述与幻觉描述。实验涵盖九个任务与九个模型，发现幻觉描述常提升视觉语言任务准确率，而纯文本任务效果有限。分析表明，幻觉线索拓宽了语义覆盖并重塑了推理动态，同时保持推断稳定。
AI 推荐理由
论文核心研究幻觉进入上下文后对下游推理动态的影响机制，属推理能力核心范畴。
研究机构
普渡大学
罗格斯大学
Meta AI
肯特州立大学
帝国理工学院
论文信息