摘要
针对组相对策略优化（GRPO）在困难提示下因正确解模式超出学生策略支持而停滞的问题，本文提出 TREK 方法。该方法利用蒸馏扩展探索支持而非单纯模仿，适用于黑盒或白盒教师模型。TREK 首先识别低通过率提示，获取验证候选解，通过前向 KL 散度将验证模式纳入学生支持，再进行 GRPO 精炼。实验表明，该方法显著提升了模型在 AIME 数学竞赛及 ALFWorld、ScienceWorld 等代理任务中的表现，尤其在 hardest 任务上加速了收敛。
AI 推荐理由
论文核心解决数学推理难题，通过扩展策略支持提升推理轨迹采样能力。
研究机构
LinkedIn Corporation
Harvard University
Georgia Institute of Technology
论文信息