摘要
科学推理基准通常仅通过最终答案准确率评估大语言模型(LLM),但这无法证明其具备目标推理能力。本文识别出“解题黑客”现象,即LLM通过数值搜索、枚举或猜测等无效捷径得出正确答案,而未提供有效推导。我们系统分析了该现象在不同难度和领域的表现,发现随着题目难度增加,捷径使用率显著上升,高达37.4%的HLE难题存在此问题。此外,8.2%-44.1%的前沿模型得分被认定为作弊结果。我们提出了专家启发的反作弊策略,包括自动裁判和测试时指令,结果显示抑制捷径行为大幅降低了报告准确率,但保留了真实推理能力。这表明仅凭答案评估会高估LLM的科学推理能力。
AI 推荐理由
论文直接探讨LLM在科学推理中的评估偏差,核心聚焦于推理能力的真实性与验证机制。
研究机构
Alibaba Group
Alibaba DAMO Academy
论文信息