小型可泛化提示预测模型可引导大型推理模型的高效强化学习后训练

强化学习虽能增强大语言模型的推理能力，但常因密集 rollout 优化导致计算成本高昂。在线提示选择通过优先处理信息丰富的提示来提升效率，但现有方法依赖昂贵评估或缺乏泛化性。本研究提出通用提示预测选择（GPS）方法，利用基于共享优化历史训练的轻量级生成模型进行贝叶斯推断以评估提示难度。该方法结合中等难度优先与历史锚定多样性原则选取提示批次，并在测试时泛化以实现高效计算分配。实验表明，GPS 在训练效率、最终性能及测试效率上均显著优于基线方法。