摘要
大型语言模型在数学推理性能上表现出显著的跨语言差异,但其根源是语言特定参数还是共享机制尚不明确。本文通过跨语言机制分析,定位并比较了支持不同语言数学推理的模型参数。研究发现,提取的数学相关参数存在部分跨语言重叠,且主要集中在中间层。英语涉及的数学相关参数集最大,而低资源语言则较小。结果表明,多语言模型中的数学行为既非完全语言无关也非完全语言特定,而是呈现部分重叠且伴随系统性语言依赖差异。
AI 推荐理由
论文核心研究多语言下数学推理的机制与参数分布,直接关联推理能力。
研究机构
Lamarr Institute
University of Bonn
Fraunhofer IAIS
论文信息