摘要
针对语言模型在技能学习中面临的数据稀缺、推理轨迹缺失及性能瓶颈三大难题,本文以Qwen2.5-Math-7B为对象进行竞赛数学(AIME)微调研究。我们提出“问题孕育问题”(QbQ)方法,由教师模型将现有问题转化为探测相同技能的多样化变体,并仅基于最终答案进行强化学习训练。研究发现静态训练存在天花板,为此提出自我进化课程:每轮评估当前检查点,从模型高正确率的问题中种子化生成变体进行训练。该方法打破了性能上限,在相同数据预算下将pass@1提升至16.5%,且展现出持续改进趋势。
AI 推荐理由
论文核心提出“自我进化课程”机制,通过迭代评估与生成变体实现模型能力的自适应提升,直接对应自我进化主题。
研究机构
University of Chicago
University of California, San Diego
论文信息