STARE：基于惊奇度的 Token 级优势重加权以实现策略熵稳定性

针对可验证奖励强化学习（如 GRPO）在大模型复杂推理训练中常见的策略熵崩溃问题，本文通过一阶梯度分析揭示了 Token 级信用分配不匹配机制。据此提出 STARE 方法，利用批内惊奇度分位数识别关键 Token 子集并重加权其优势值，结合目标熵闭环门控实现稳定调节。实验表明，STARE 在多种模型规模及任务家族中均能维持数千步的稳定训练，并在 AIME24/25 基准上显著优于现有基线，有效平衡了探索与利用。