理解语言模型为何产生幻觉：测试推理与先验的对抗

大型语言模型常产生违反提示约束的幻觉答案。本文探究此类失败是源于知识缺失，还是模型虽掌握相关信息却遵循了错误的推理路径。我们将此现象形式化为“推断错位”，即提示支持的答案与统计显著的潜在关联 favored 的答案之间的不匹配。通过潜在关键任务模型，我们指出预训练频率失衡可能导致捷径路径主导约束敏感路径。基于 TrapQA 测试床的实验表明，幻觉主要源于有偏见的潜在推断，而非单纯的知识缺失。