mathematical reasoning multilingual LLMs mechanistic analysis parameter overlap
摘要

大型语言模型在数学推理性能上表现出显著的跨语言差异,但其根源是语言特定参数还是共享机制尚不明确。本文通过跨语言机制分析,定位并比较了支持不同语言数学推理的模型参数。研究发现,提取的数学相关参数存在部分跨语言重叠,且主要集中在中间层。英语涉及的数学相关参数集最大,而低资源语言则较小。结果表明,多语言模型中的数学行为既非完全语言无关也非完全语言特定,而是呈现部分重叠且伴随系统性语言依赖差异。

AI 推荐理由

论文核心研究多语言下数学推理的机制与参数分布,直接关联推理能力。

研究机构
Lamarr Institute University of Bonn Fraunhofer IAIS
论文信息
作者 Behzad Shomali, Luisa Victor, Tim Selbach, Ali Hamza Bashir, David Berghaus et al.
发布日期 2026-06-16
arXiv ID 2606.18453
相关性评分 9/10 (高度相关)