摘要
尽管统计推理具有多维性,但现有对大语言模型(LLMs)的评估通常仅强调响应准确率,而忽视了模型构建和传达统计解释的方式。本研究通过结合响应准确率、行为分析、结构主题建模和词汇相似性分析,展示了多维评估的价值。研究应用该框架分析了15个当前主流LLM在90道统计学考题上的表现。结果显示,模型准确率差异显著(55%-78%),但所有模型在统计推理的概念组织上表现出共性,且同一厂商的模型在解释风格上更为相似。结论指出,仅凭准确率无法全面刻画当代LLM的统计推理能力,需结合多维度分析以提供更全面的评估。
AI 推荐理由
论文核心聚焦于LLM的统计推理能力评估,直接对应reasoning主题。
研究机构
Department of Statistics and Data Science, Southern Methodist University
Research Technology Services, Southern Methodist University
论文信息