摘要
检索增强生成旨在将输出基于外部证据，但缺乏验证检索上下文是否真正主导生成的可靠方法。当检索文档与预训练数据重叠时，模型可仅凭参数记忆生成看似忠实的内容，导致“归因盲点”。本文提出计算现实监控（CRM），通过比较有无上下文时的内部表示差异来检测此问题。实验表明，这种差异集中在特定架构层，能跨任务和数据集泛化，为构建具备证据来源意识的系统奠定基础。
AI 推荐理由
论文核心研究模型依赖参数记忆而非检索上下文的机制，提出检测盲点方法。
研究机构
浙江大学
北京语言大学
国家金融科技评价中心
杭州电子科技大学
上海交通大学
智谱AI
论文信息