利用指令微调与模型合并实现推理模型适应

推理语言模型（RLM）在数学和编程等领域表现卓越，但这些领域依赖可验证的输出以驱动强化学习。针对缺乏可靠验证器的领域训练 RLM 仍具挑战。本文提出利用大量未使用的监督微调数据来提升 RLM 性能：首先对 RLM 进行不含推理轨迹的经典指令微调，随后将微调模型与原推理模型合并，以恢复其在目标领域的推理行为。评估表明，该方法在代码生成和文本摘要等可验证及难验证领域均提升了性能，且成本极低。