Self-Evolving Curriculum Reinforcement Learning Mathematical Reasoning Data Augmentation
摘要

针对语言模型在技能学习中面临的数据稀缺、推理轨迹缺失及性能瓶颈三大难题,本文以Qwen2.5-Math-7B为对象进行竞赛数学(AIME)微调研究。我们提出“问题孕育问题”(QbQ)方法,由教师模型将现有问题转化为探测相同技能的多样化变体,并仅基于最终答案进行强化学习训练。研究发现静态训练存在天花板,为此提出自我进化课程:每轮评估当前检查点,从模型高正确率的问题中种子化生成变体进行训练。该方法打破了性能上限,在相同数据预算下将pass@1提升至16.5%,且展现出持续改进趋势。

AI 推荐理由

论文核心提出“自我进化课程”机制,通过迭代评估与生成变体实现模型能力的自适应提升,直接对应自我进化主题。

研究机构
University of Chicago University of California, San Diego
论文信息
作者 Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi
发布日期 2026-08-02
arXiv ID 2608.01522
相关性评分 9/10 (高度相关)