mathematical reasoning low-resource languages benchmark perturbation analysis Chain-of-Thought
摘要

针对大语言模型数学推理评估多集中于英语的问题,本研究填补了孟加拉语领域的空白。文章提出了 GSM-Plus-BN,这是一个基于扰动生成的孟加拉语数学数据集,包含 9000 个样本。研究评估了六个开源模型在标准提示与思维链(CoT)提示下的表现。结果显示,虽然 CoT 显著提升了推理能力,但模型在孟加拉语扰动文本上的表现仍低于英语基准,揭示了跨语言推理的挑战。该工作为未来孟加拉语数学推理研究提供了重要资源与基线。

AI 推荐理由

论文核心评估 LLM 在孟加拉语下的数学推理能力及鲁棒性,直接针对推理主题。

研究机构
Computer Science and Engineering, Southeast University, Dhaka, Bangladesh
论文信息
作者 Bidyarthi Paul, Nahida Jannat Mayouree, Md. Asif Karim, Sagar Chandra Nath, Swastika Kundu
发布日期 2026-07-14
arXiv ID 2607.13248
相关性评分 9/10 (高度相关)