摘要
针对大语言模型数学推理评估多集中于英语的问题,本研究填补了孟加拉语领域的空白。文章提出了 GSM-Plus-BN,这是一个基于扰动生成的孟加拉语数学数据集,包含 9000 个样本。研究评估了六个开源模型在标准提示与思维链(CoT)提示下的表现。结果显示,虽然 CoT 显著提升了推理能力,但模型在孟加拉语扰动文本上的表现仍低于英语基准,揭示了跨语言推理的挑战。该工作为未来孟加拉语数学推理研究提供了重要资源与基线。
AI 推荐理由
论文核心评估 LLM 在孟加拉语下的数学推理能力及鲁棒性,直接针对推理主题。
研究机构
Computer Science and Engineering, Southeast University, Dhaka, Bangladesh
论文信息