摘要
多语言推理迁移对于将大语言模型的推理能力扩展至高资源语言之外至关重要。尽管对策自蒸馏(OPSD)提供了密集的令牌级监督,但其目标未明确优先处理跨语言迁移中最关键的推理信号。本文指出,目标语言的推理包含表面文本生成和推理枢轴(即推进或重定向推理过程的决策)。为此,我们提出了RP-OPSD,利用匹配的教师视图(有无英文参考解)之间的分布偏移作为操作代理,以指导特权蒸馏和参考锚定。在涵盖17种语言和多个难度级别的数学推理基准上的实验表明,该方法优于强大的基线和OPSD变体。分析显示,RP-OPSD将特权蒸馏集中在推理控制和状态更新令牌上,而降低对主要支持表面实现的令牌的权重。
AI 推荐理由
论文核心聚焦于通过推理枢轴引导的自蒸馏方法,直接提升LLM在多语言环境下的数学推理能力。
研究机构
National Key Laboratory for Novel Software Technology, Nanjing University
论文信息