最大化 GRPO 信号：针对硬推理问题的自适应轨迹前缀控制

针对群组相对策略优化（GRPO）在模型最难问题上因无成功 rollout 导致梯度消失的问题，本文提出 AdaPrefix-GRPO。该方法将参考解的正确前缀作为难度调节旋钮，并通过反馈控制器动态调整前缀长度，使成功率维持在梯度信号最强的 50% 附近，最终实现无辅助推理。实验表明，在同等训练算力下，该方法在硬数学任务上显著提升了小模型的准确率，同时大幅缩短了推理轨迹长度。