通过基于规则的预训练文本自博弈引导开放任务的后训练信号

自博弈已成为训练大语言模型的新范式，但现有研究多限于数学和编码等可验证任务。本文提出 POP 框架，将自博弈扩展至开放型任务。该方法利用同一模型合成评估规则及输入输出对，并基于丰富的预训练语料进行接地，以缩小生成与验证差距、减少奖励欺骗并防止模式坍塌。实验表明，POP 显著提升了 Qwen-2.5-7B 在医疗问答、创意写作等任务上的表现。