理解并防止 RLVR 中的熵坍缩：基于在线策略熵流优化

可验证奖励强化学习（RLVR）是提升大语言模型推理能力的有效范式，但现有算法常因熵坍缩导致过早确定性和优化不稳定。本文从 token 级熵流视角重审该问题，发现熵减 token 持续主导导致流动失衡。据此，提出在线策略熵流优化（OPEFO）机制，通过自适应重缩放熵增与熵减更新以平衡动态，同时保持严格在线策略。在六个数学推理基准上的实验表明，该方法显著提升了训练稳定性及最终性能。