超越欧几里得截断：通过黎曼等距策略优化克服 LLM 强化学习中的探索坍塌

强化学习已成为增强大语言模型推理能力的主流范式，但基于 PPO-Clip 的算法受限于探索坍塌问题。本文揭示了其根本缺陷：隐式使用欧几里得度量衡量策略差异，这与策略黎曼流形的内在几何不一致，导致低概率区域更新过于保守而高概率区域过于激进。为此，我们提出黎曼等距策略优化（RIPO），保证在黎曼流形上进行等距策略更新，有效平衡探索与利用，并实现良好的偏差 - 方差权衡。实验表明，RIPO 在七个竞赛级基准上显著优于现有算法。