摘要
在线策略自蒸馏(OPSD)利用基于参考解的监督视角提升模型推理能力,但教师提供的token级目标可能依赖推理时不可用的特定参考信息。本文提出空间引导的OPSD(PS-OPSD),用描述初始状态、目标条件、约束及状态转移路径的轨迹导向指导替代完整解。在1.7B至8B模型的三个数学推理基准上,PS-OPSD取得了最高的仅问题准确率。实验表明,指导的相关性和路径连贯性是性能提升的关键,突显了特权信息表征设计的重要性。
AI 推荐理由
论文直接针对数学推理能力,通过改进自蒸馏中的特权信息表示来提升LLM的推理准确性。
研究机构
南开大学计算机学院
华为技术有限公司
论文信息