通过精确熵曲线控制解决大语言模型强化学习的性能饱和问题

强化学习（RL）虽激发了大语言模型的复杂推理能力，但常因熵崩溃导致性能饱和。本文提出 Entrocraft，一种简单的拒绝采样方法，通过偏置优势分布实现任意自定义的熵调度，无需目标正则化。理论分析揭示了单步熵变与优势分布的关系。实证表明，线性退火策略效果最佳。该方法显著提升了泛化性、输出多样性及长期训练稳定性，使 4B 模型超越 8B 基线，并将 pass@K 指标提高 50%。