摘要
大型语言模型在推理能力上取得了显著进展,但在低资源原生环境中常出现跨语言崩溃,即在需要复杂逻辑推理的中间步骤退化为英语。这给策略优化带来了冷启动瓶颈,而标准微调则因跨语言表示漂移面临灾难性遗忘风险。为此,我们引入了Onramp-Sequence Cross-Distillation (OSCD),这是一种后训练算法,通过集成翻译器智能体循环,在生成式训练 rollout 期间将高资源推理轨迹投影到低资源词汇子空间,确保动态生成的参考样本用于微调时的稳定高效翻译。结合参考和目标语言推理轨迹的联合嵌入语义对齐,弥合了成对跨语言表示差距。在AIME25和HMMT25基准上的综合评估表明,OSCD使东南亚本土语言的数学推理整体提升高达3.2倍,其中联合嵌入语义对齐组件相比仅翻译基线在语言去偏方面提升了高达6.4%。
AI 推荐理由
论文直接针对低资源语言下的数学推理能力,提出解决跨语言推理崩溃的方法,核心聚焦于推理机制优化。
研究机构
南洋理工大学
AI新加坡
DSO国家实验室
论文信息