诊断基于 RAG 的事实核查中 LLM 对预证据认知状态的仲裁行为

在基于检索增强生成（RAG）的事实核查中，大语言模型常作为验证器。其参数化知识可能产生与检索证据冲突的预证据倾向。本文提出 PAVE 评估框架，将验证器划分为四种认知状态，评估其在正确先验面对误导证据时的坚持能力，以及在错误先验面对准确证据时的修正能力。实验揭示现有模型仲裁行为不可靠且高度依赖模型类型。据此，作者提出一种轻量级的测试时仲裁方法，显著提升事实可靠性。