Code Generation Reinforcement Learning Diversity Pass@k RLVR
摘要

代码生成大模型通常在有限采样预算下通过 Pass@k 指标评估,即执行多个候选程序并通过单元测试。近期基于验证器的强化学习(RLVR)方法虽提升了可执行正确性,但其对采样程序间冗余性的影响尚不明确。本文利用代码查重系统 JPlag 研究实现层面的冗余,发现仅关注正确性的 RLVR 会导致生成结果高度集中,而感知 Pass@k 的目标能维持较低冗余并提升大预算性能。据此,我们在 RLVR 中引入基于 JPlag 相似度的直接抗冗余奖励。实验表明,抑制近似重复生成能可靠提升有限预算下的可执行性能,效果往往匹配或优于专用的 Pass@k 感知目标。

AI 推荐理由

研究代码生成中的多样性与推理质量,通过减少冗余提升多采样下的正确率,属推理能力优化。

研究机构
RIKEN Center for Computational Science, Tokyo, Japan École Normale Supérieure Paris, PSL University, Paris, France LAMSADE, CNRS, Université Paris-Dauphine-PSL, Paris, France
论文信息
作者 Le Bronnec Florian, Alexandre Verine, Rio Yokota, Benjamin Negrevergne
发布日期 2026-05-27
arXiv ID 2605.28022
相关性评分 8/10 (高度相关)