摘要
本文介绍了 ISOSCI 基准，该基准由同构跨领域科学问题对组成，旨在在大语言模型评估中将推理能力与领域知识检索分离开来。每对问题具有相同的逻辑结构但需要不同的领域特定知识，从而实现对推理模式增益的可控归因。研究发现，绝大多数推理模式的增益依赖于知识而非结构不变性，这直接挑战了思维链能提升短期过程性科学问题解决能力的假设。研究还表明，基准的选择决定了对推理效用的结论。
AI 推荐理由
论文核心在于评估 LLM 的推理能力，提出新基准分离推理与知识检索，直接挑战现有推理假设。
研究机构
Texas A&M University
论文信息