别让增益消退：分解强化学习中的策略梯度权重

强化学习后训练显著提升了大语言模型的推理能力，但常面临训练不稳定和多样性坍塌的问题。优势函数虽能重塑训练目标，但方法繁多导致选择困难。本文提出统一框架，将任意优势分解为正负梯度质量。基于此发现，作者设计了 FADE（动态熵焦点优势），一种能根据训练动态自动调度梯度权重的自适应优势函数。实验表明，FADE 在 7B 和 32B 模型上均比最佳静态基线更早达到峰值通过率，并在 LiveCodeBench 和 AIME 基准上实现了准确率与多样性的最佳平衡。