摘要
代码生成大模型通常在有限采样预算下通过 Pass@k 指标评估,即执行多个候选程序并通过单元测试。近期基于验证器的强化学习(RLVR)方法虽提升了可执行正确性,但其对采样程序间冗余性的影响尚不明确。本文利用代码查重系统 JPlag 研究实现层面的冗余,发现仅关注正确性的 RLVR 会导致生成结果高度集中,而感知 Pass@k 的目标能维持较低冗余并提升大预算性能。据此,我们在 RLVR 中引入基于 JPlag 相似度的直接抗冗余奖励。实验表明,抑制近似重复生成能可靠提升有限预算下的可执行性能,效果往往匹配或优于专用的 Pass@k 感知目标。
AI 推荐理由
研究代码生成中的多样性与推理质量,通过减少冗余提升多采样下的正确率,属推理能力优化。
研究机构
RIKEN Center for Computational Science, Tokyo, Japan
École Normale Supérieure Paris, PSL University, Paris, France
LAMSADE, CNRS, Université Paris-Dauphine-PSL, Paris, France
论文信息