摘要
数学推理已成为评估和调整大型语言模型（LLM）的核心任务，但现有基准严重偏向高资源语言。为解决这一差距，本文推出 PluraMath，将 PolyMath 数据集扩展至 18 种代表性不足的语言，涵盖从中等资源到极低资源场景。通过人工策划流程构建数据集，并由母语者验证翻译。利用该基准测试了 27 个推理 LLM，细粒度分析证实了高资源与低资源语言间存在的持续性能差距，且表现优异主要与更强的指令遵循能力相关。
AI 推荐理由
论文核心聚焦多语言数学推理评估，直接针对 LLM 推理能力进行基准测试与分析。
研究机构
Technical University of Munich (TUM)
Munich Center for Machine Learning (MCML)
Independent Researcher
Applied AI Institute
Charles University
Nazarbayev University
Inria
Indian Institute of Technology, Kharagpur
German University of Digital Science
论文信息