重思奖励监督：基于准则的自蒸馏

推理语言模型的后期训练通常依赖监督蒸馏和可验证奖励的强化学习。前者受限于昂贵且可能含噪的思维链标注，后者则将评估反馈压缩为标量信号，掩盖了需改进的具体方面。本文提出“基于准则的自蒸馏”框架，利用结构化、细粒度的准则作为在策略自蒸馏中的反馈。该方法使教师模型依据准则级标准，对学生采样的轨迹提供词元级指导，从而实现比标量奖励优化更精细的推理过程信用分配。实验表明，该方法在科学推理基准上显著优于现有基线。