难度估计策略优化

近期大型推理模型（如 DeepSeek-R1）展示了通过组相对策略优化（GRPO）扩展推理时计算潜力的前景。然而，GRPO 在处理过简或过难问题时常面临梯度信号衰减，导致收敛不稳定。现有变体虽试图缓解梯度消失，却未解决低效用样本 exhaustive rollouts 带来的巨大计算开销。本文提出难度估计策略优化（DEPO），一种旨在优化推理对齐效率与鲁棒性的新框架。DEPO 集成在线难度估计器，在 rollout 阶段前动态评估并过滤训练数据，确保计算资源优先分配给高学习潜力样本。实证结果表明，DEPO 在不牺牲模型性能的前提下，将 rollout 成本降低高达 50%，为高性能推理模型的训练提供了更可持续的路径。