摘要
可靠的问答系统不仅需判断答案正确性,还需识别预测所依赖的具体知识来源。在基于大语言模型的实际问答中,这些知识可能源自上下文、检索结果、分解步骤或中间推理,构成噪声大且冗余的候选空间。本文研究“知识依赖估计”,旨在评估固定黑盒问答模型对不同候选知识单元的敏感度。我们提出 Knot,一种结构化秩感知知识依赖估计器,通过子集级反事实监督学习,建模潜在依赖因子的覆盖度以推导单元评分。实验表明,Knot 在多个基准上优于基线,能有效标记高风险预测。
AI 推荐理由
论文聚焦 QA 中的知识依赖与中间推理过程分析,虽非直接提升推理能力,但深入涉及推理依据的可靠性评估。
研究机构
中国科学院信息工程研究所
中国科学院大学网络空间安全学院
中国工业控制系统网络安全应急响应团队
论文信息