具有可验证奖励的强化学习的非空洞泛化界

尽管带可验证奖励的强化学习（RLVR）广泛用于提升大语言模型的推理能力，但其泛化性尚不明确。本文首次在十亿参数规模上建立了参数高效 RLVR 微调的非空洞泛化界。通过适配 PAC-Bayes 压缩界并应用 Gumbel-max 重参数化技巧解决随机性问题，提出了结合策略蒸馏、TinyLoRA 和量化的渐进式 RLVR 框架。实验表明，该框架在保持标准 LoRA 84-97% 性能的同时，显著提升了模型压缩率，并在数学、编程等四个推理领域实现了紧致的泛化界。