Self-Distillation Mathematical Reasoning On-Policy Learning Teacher-Student Framework
摘要

在线策略自蒸馏(OPSD)利用特权教师监督从自身 rollout 中采样的前缀。然而,标准 OPSD 未利用展示学生响应过程及成败结果的轨迹后见之明。本文提出 PAST,将完整的 student 轨迹作为额外特权信息供教师使用,同时保持学生蒸馏前缀不变。PAST 在正确轨迹上保留学生的下一个 token 分布,并利用失败轨迹在正则化约束下调整教师以趋向验证后的成功。通过 Forward-KL 蒸馏投影,分离了仅教师可用的轨迹特异性变化与学生可迁移的平均策略偏移。在三个数学推理基准测试中,PAST 相比 Vanilla OPSD 提升了 5.6% 的平均准确率。

AI 推荐理由

论文聚焦于数学推理模型的自我蒸馏与优化,直接提升LLM的推理能力。

研究机构
中国香港科技大学(广州) 中山大学
论文信息
作者 Yangyang Feng, Zhuoyan Feng, Junlan Chen
发布日期 2026-08-09
arXiv ID 2608.08726
相关性评分 9/10 (高度相关)