通过内在梯度范数奖励实现无需验证器的 LLM 强化学习

针对现有可验证奖励强化学习（RLVR）依赖黄金标签或特定领域验证器从而限制扩展性的问题，本文提出了无需验证器的内在梯度范数奖励（VIGOR）。该方法仅利用策略模型自身，通过对采样输出计算教师强制负对数似然梯度的$ℓ_2$范数作为内在偏好信号：梯度范数越小，表明输出与当前策略越对齐。为解决长度偏差并稳定训练，引入了$√T$缩放及组间排名整形技术。实验表明，在数学推理基准上，VIGOR 优于现有的内部反馈强化学习（RLIF）基线，并展现出向代码基准的跨域迁移能力，同时训练动态更稳定。