R-Align：通过以原理为中心的元判断增强生成式奖励模型

针对生成式奖励模型（GenRM）训练中仅关注结果标签而忽视推理质量的问题，本文提出推理保真度概念，即偏好决策与参考原理的一致性。研究发现现有模型存在显著的“虚假正确”现象，导致策略退化。为此，作者提出 R-Align 方法，通过引入黄金判断并显式监督原理对齐来增强训练。实验表明，该方法有效降低了虚假正确率，并在 STEM、编程及指令遵循等任务中显著提升了策略模型性能。