摘要
在线策略自蒸馏(OPSD)利用特权教师监督从自身 rollout 中采样的前缀。然而,标准 OPSD 未利用展示学生响应过程及成败结果的轨迹后见之明。本文提出 PAST,将完整的 student 轨迹作为额外特权信息供教师使用,同时保持学生蒸馏前缀不变。PAST 在正确轨迹上保留学生的下一个 token 分布,并利用失败轨迹在正则化约束下调整教师以趋向验证后的成功。通过 Forward-KL 蒸馏投影,分离了仅教师可用的轨迹特异性变化与学生可迁移的平均策略偏移。在三个数学推理基准测试中,PAST 相比 Vanilla OPSD 提升了 5.6% 的平均准确率。
AI 推荐理由
论文聚焦于数学推理模型的自我蒸馏与优化,直接提升LLM的推理能力。
研究机构
中国香港科技大学(广州)
中山大学
论文信息