摘要
针对大语言模型在无标签场景下提升推理准确性的需求，本文提出 CANON 方法。现有方法仅将多解共识用作过滤、偏好或标量奖励，浪费了丰富信息。CANON 将共识转化为密集的 token 级监督信号：通过采样多解提取多数答案，冻结模型快照并以其为条件生成教师信号，对模型 rollout 的每一 token 进行监督。实验表明，该方法在数学和科学推理基准上显著优于无标签强化学习，甚至接近使用黄金标签的训练效果，且能解决此前无法解决的问题。
AI 推荐理由
论文核心在于利用共识机制提升 LLM 在无标签情况下的数学与科学推理准确率。
研究机构
ILLC, University of Amsterdam
ILCC, University of Edinburgh
论文信息