GFlowRL：将分布匹配强化学习扩展至大型语言模型

生成流网络（GFlowNets）通过匹配奖励分布而非收敛于主导模式，为大型推理模型提供了鼓励多样化推理路径的强化学习替代方案。针对现有方法在扩展至现代后训练流程时面临的梯度不稳定问题，本文提出 GFlowRL。该算法移除了辅助配分函数网络，改用批内蒙特卡洛估计，并引入重要性采样校正与非对称流间隙裁剪作为稳定机制。实验表明，GFlowRL 在数学、代码及对抗性红队测试基准上均超越现有方法，且在稠密及稀疏架构中均能稳定扩展。