data contamination chain-of-thought evaluation benchmark LLM reliability
摘要

大语言模型虽展现出色推理能力,但数据污染尤其是恶意规避性污染严重干扰客观评估。现有方法难以检测此类隐蔽污染。本文发现模型生成的推理步骤会掩盖其底层的记忆机制。据此,提出零思维链探测(ZCP)方法,通过故意截断完整思维链过程以暴露潜在的捷径映射。该方法对比模型在原始基准与同构扰动参考数据集上的零思维链表现,以区分记忆与固有解题能力。此外,引入“污染置信度”指标量化污染可能性与严重程度。实验证明 ZCP 能有效检测直接及规避性数据污染。

AI 推荐理由

论文通过截断思维链揭示推理假象,核心在于评估和检测推理能力的真实性。

研究机构
The Pennsylvania State University
论文信息
作者 Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen
发布日期 2026-05-21
arXiv ID 2605.21856
相关性评分 8/10 (高度相关)