摘要
近期大语言模型展现出强大的数学推理能力,但现有成果主要依赖英语训练资源,导致在乌尔都语等低资源语言中性能显著下降。针对乌尔都语缺乏推理导向数据集和适配模型的现状,本文提出了 Riazi-8B。该模型通过在乌尔都语维基百科上继续预训练,并利用源自 GSM8K 的乌尔都语思维链数据进行监督微调构建而成。在 MGSM-Urdu 基准上的评估结果显示,该模型在答案正确性、推理质量、回复完整性及乌尔都语生成方面均优于现有的指令微调模型,证明了结合语言适配与推理聚焦微调的有效性。
AI 推荐理由
论文核心聚焦于提升低资源语言(乌尔都语)下的数学推理能力,通过思维链微调直接优化推理机制。
研究机构
National University of Sciences and Technology (NUST), Islamabad, Pakistan
Department of Communication, Quality Management and Information Systems, Mid Sweden University, Ostersund, Sweden
论文信息