摘要
现有物理基准仅凭答案准确率无法区分真实推理与模式记忆。本文提出一种可审计的四阶段诊断方法,通过归纳、公式化、预测和回顾,评估大语言模型在陌生物理框架内的推理能力。该方法结合预注册、双模型评判及人工审计,在三个平行物理世界中测试了主流模型。结果显示,模型在定性方向判断上表现尚可,但在定量计算中常因回退到标准物理关系而出错,且自我审查机制普遍薄弱。
AI 推荐理由
论文核心评估 LLM 在陌生物理框架下的归纳、预测等推理能力,深入分析推理失效模式。
研究机构
dangzhanghz@gmail.com
论文信息