摘要
过程生成器能大规模产生可验证的推理问题,但作为完成式监督微调的数据较少受关注。本文提出Reasoning Core,包含50个涵盖数学、逻辑、规划等领域的生成器,具备语义评分器和难度控制。在3B模型对比中,其表现优于基线及其他程序化数据集。分析表明,仅语义有效不足以保证训练效用,紧凑目标和校准难度至关重要。研究揭示了过程生成与评估间的细微不匹配,并公开了相关资源。
AI 推荐理由
论文核心在于构建推理数据集以增强LLM的推理能力,直接对应推理主题。
研究机构
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRISAL, F-59000 Lille, France
论文信息