ExTra：用于语言模型强化学习的探索性轨迹优化

针对基于可验证奖励的强化学习（RLVR）在语言模型推理中面临的极端难度失效问题，本文提出 ExTra 框架。该方法兼容 GRPO，通过两种机制从模型自身 rollout 中提取探索信号：一是基于嵌入的新颖性奖励，鼓励多样化的正确解；二是熵引导的前缀再生，利用熵信号评估部分轨迹并从有希望的中间步骤继续探索。在六个数学推理基准测试中，ExTra 使 Qwen3-1.7B 的 pass@1 和 pass@16 指标分别提升约 5 分和 7 分，证明轨迹级探索信号能有效提高单次采样准确率及推理时的覆盖度。