摘要
策略内蒸馏(OPD)作为大语言模型后训练的一种有前景的强化学习替代方案,其在多语言环境下的有效性尚待探索。本研究探讨了OPD及其进阶变体策略内Delta蒸馏(OPD²)在英语、韩语和日语数学推理中的应用。OPD²利用经过后训练的教师模型与基础模型之间的概率差作为学习信号,从而改进OPD。使用Qwen3的实验表明,OPD²一致优于原始OPD,尤其在韩语和日语上提升显著,并缩小了英韩性能差距。此外,研究发现仅使用英语数据的OPD也能提升韩语和日语表现,但往往导致响应偏向英语,突显了多语言数据在保持目标语言响应方面的重要性。
AI 推荐理由
论文直接针对多语言数学推理能力进行优化,核心贡献在于提升LLM的推理性能。
研究机构
NAVER AI Lab
论文信息