摘要
当检索证据与参数记忆矛盾时,语言模型常忽略上下文而依赖先验记忆,削弱检索增强效果。现有对比解码方法假设偏差均匀,导致全局权重惩罚不当。本文发现冲突集中在少量关键解码步,提出 FIDES 方法,无需训练即可读取输出表面、隐藏表示及预测轨迹三种内部信号,融合后动态调控各步干预强度。实验表明,该方法在多个基准和模型规模上显著提升上下文忠实度与 F1 分数,证明了细粒度选择性优于粗糙规则。
AI 推荐理由
核心研究检索记忆与参数记忆冲突机制,提出细粒度干预策略。
研究机构
宾阳 Institute of Zhejiang University
Zhejiang University
Guangzhou University
GenTel.io
论文信息