摘要
思维链(CoT)提示仍是评估模型推理能力的标准基线。然而,现代大型语言模型在处理推理任务时往往能原生生成类似CoT的回答,这促使我们重新审视标准CoT提示的有效性。本文在数学解题任务上评估了多个中等规模的现代语言模型,发现专为推理优化的模型在简单的零样本设置下表现优于使用少样本CoT示例的情况,且无需额外成本即可显著超越官方报告结果。对于通用模型,零样本CoT提示也足以胜过少样本基线。我们将此归因于“引导-分心”权衡:标准CoT提示还要求风格适应和格式合规,可能分散模型对核心推理任务的注意力。研究结果表明,随着模型变强,标准CoT提示日益成为干扰源。
AI 推荐理由
论文直接评估LLM的推理能力,并深入探讨CoT提示对推理效果的影响及干扰机制。
研究机构
EPFL
Apple
Mistral AI
论文信息