摘要
可验证奖励强化学习(RLVR)能提升大语言模型推理能力,但相同奖励的提示组浪费生成预算。现有预 rollout 方法难以平衡探索与利用。为此,本文提出 LEEPS,一种潜在引导的探索 - 利用提示采样器。该方法自适应平衡历史有效提示的复用与不确定提示的探索,将候选分为两组并按近期非平凡比例分配预算。利用表示空间邻居和历史结果优先选择可能产生非零奖励方差的不确定提示。在六个数学推理基准测试中,LEEPS 在两种模型规模下均获最高平均分,训练收敛更快,且在三个分布外通用推理基准上表现最佳,仅增加少量采样开销。
AI 推荐理由
论文核心旨在通过优化 RLVR 中的提示采样策略,显著提升大模型的数学与通用推理能力。
研究机构
Renmin University of China
论文信息