摘要
随着大语言模型在复杂推理任务中的进步,其过度优先处理输入中的显式条件,导致在常识推理中易受无用显式干扰项(如数值)影响,产生“显著性偏差”。本文构建 SaliTrap 基准评估 12 个主流模型,发现所有模型均受此偏差严重影响。研究表明,这种失败主要源于知识被抑制而非知识缺失:去除误导框架后,常识知识可被有效恢复。此外,仅通过轻量级推理时提示即可显著改善表现,将瓶颈从模型能力重新定位为激发机制。
AI 推荐理由
论文核心研究 LLM 在常识推理中的显著性偏差机制,提出新基准并分析失败根源。
研究机构
School of Computer Science, Shanghai Jiao Tong University
ByteDance Inc
论文信息