学会自我验证使语言模型成为更好的推理者

大型语言模型在复杂任务中虽能生成优质推理路径，但自我验证能力薄弱，存在生成与验证的能力不对称。本文深入探究该现象，发现提升生成能力未必改善验证，但学习自我验证却能显著反哺生成性能，获得更高效有效的推理轨迹。基于此，作者提出多任务强化学习框架，将生成与自我验证作为独立互补目标联合优化。实验表明，该方法在多项基准上优于仅训练生成的模型，同时提升了生成与验证能力。