黑暗中的智能选择：通过追踪元认知枢轴实现高效推理的 RLVR

可验证奖励的强化学习（RLVR）推动了大型推理模型的发展，但依赖海量标注数据。现有数据高效方法或依赖预标注池，或在无监督下表现欠佳。本文研究“黑暗中挑选”设置，旨在无前馈监督下筛选最具价值的未标注样本。分析表明，智能选择依赖于校准良好的不确定性估计器。据此，作者提出 PivotTrace 框架，利用注意力动态追踪推理过程中的元认知枢轴，通过枢轴密度量化不确定性，实现数据自动路由。实验显示，该方法仅用 29.3% 标注样本即超越全监督模型，且收敛速度快 2.75 倍。