ARMOR：利用离策略锚点样本稳定同策略大语言模型强化学习

强化学习显著提升了大语言模型的推理能力，但训练过程极不稳定。本文指出不稳定的关键根源是“过优化”，即模型利用训练启发式方法而牺牲了可泛化的推理能力。针对标准反向 KL 正则化在此场景下覆盖不足的缺陷，提出了 ARMOR 框架。该框架包含“锚点展开”与“混合优化”两个核心组件，前者利用参考策略的离策略数据保留既定解题模式，后者重构策略目标以实现可控探索。实验表明，ARMOR 有效缓解了验证集性能崩溃，实现了长期训练下的持续性能提升。