Self-Distillation Mathematical Reasoning Privileged Information
摘要

在线策略自蒸馏(OPSD)利用基于参考解的监督视角提升模型推理能力,但教师提供的token级目标可能依赖推理时不可用的特定参考信息。本文提出空间引导的OPSD(PS-OPSD),用描述初始状态、目标条件、约束及状态转移路径的轨迹导向指导替代完整解。在1.7B至8B模型的三个数学推理基准上,PS-OPSD取得了最高的仅问题准确率。实验表明,指导的相关性和路径连贯性是性能提升的关键,突显了特权信息表征设计的重要性。

AI 推荐理由

论文直接针对数学推理能力,通过改进自蒸馏中的特权信息表示来提升LLM的推理准确性。

研究机构
南开大学计算机学院 华为技术有限公司
论文信息
作者 Xuyang Zhao, Liting Zhang, Zichen Xu, Zhihu Wang, Xu Caiyue et al.
发布日期 2026-08-03
arXiv ID 2608.01589
相关性评分 9/10 (高度相关)