Self-Distillation Unsupervised Learning Mathematical Reasoning Consensus
摘要

On-policy自蒸馏通过查询学生实际访问的状态来改善语言模型的推理能力,但现有方法依赖外部监督构建信息优势。本文提出CoDA(共识与分歧对齐),这是一种完全无监督的框架,利用模型自身未标记轨迹中的潜在不确定性结构生成可靠的特权信息。CoDA提取两个互补信号:在正分支中,答案级共识识别稳定的推理模式,指导冻结的自我教师提供分布引导;在负分支中,利用分歧将少数轨迹视为不稳定替代方案并通过KTO风格校准目标进行惩罚。这种非配对二元反馈提供了鲁棒的正则化,无需假设共识即为绝对真理。在竞赛级数学基准上的实验表明,CoDA显著提升了推理能力。

AI 推荐理由

论文核心在于通过无监督自蒸馏提升LLM的数学推理能力,直接针对推理机制进行优化。

研究机构
北京大学智能科学与技术学院 北京大学通用人工智能全国重点实验室 Ucap Cloud
论文信息
作者 Jiaxin Guo, Yanwei Yue, Xuanbo Fan, Chunyu Yang, Yan Zhang
发布日期 2026-08-09
arXiv ID 2608.08764
相关性评分 9/10 (高度相关)