摘要
无法区分自身输出与用户输入的对话 AI,会将自身错误视为用户事实。这种能力在人类中称为“现实监控”,其失效与幻觉密切相关。本文通过两项实验和六个大语言模型表明,源归因准确性取决于对话记忆的结构:在低记忆需求下,模型对自生成内容的识别准确率极高;但当情景延迟消除捷径后,优势反转为脆弱的外部项优势。反馈揭示了两种失败模式:部分模型内部与外部判断颠倒,另一些则出现准确度提升但信心与正确性解离的现象。研究表明,评估自主多轮 AI 系统时,追踪知识来源与评估知识本身同等重要。
AI 推荐理由
论文核心研究对话记忆结构如何影响 LLM 的源归因与现实监控能力。
研究机构
Department of Psychology, University of Florida, Gainesville, Florida, USA.
University of Missouri, Missouri, USA.
论文信息