commonsense reasoning salience bias LLM evaluation knowledge suppression
摘要

随着大语言模型在复杂推理任务中的进步,其过度优先处理输入中的显式条件,导致在常识推理中易受无用显式干扰项(如数值)影响,产生“显著性偏差”。本文构建 SaliTrap 基准评估 12 个主流模型,发现所有模型均受此偏差严重影响。研究表明,这种失败主要源于知识被抑制而非知识缺失:去除误导框架后,常识知识可被有效恢复。此外,仅通过轻量级推理时提示即可显著改善表现,将瓶颈从模型能力重新定位为激发机制。

AI 推荐理由

论文核心研究 LLM 在常识推理中的显著性偏差机制,提出新基准并分析失败根源。

研究机构
School of Computer Science, Shanghai Jiao Tong University ByteDance Inc
论文信息
作者 Zheng Wu, Chenhao Xue, Shijie Zheng, Yijie Lu, Cheng Yang et al.
发布日期 2026-07-30
arXiv ID 2607.28478
相关性评分 9/10 (高度相关)