用于大语言模型后训练的蒸馏强化学习

Reinforcement Learning Knowledge Distillation LLM Post-training Reasoning Enhancement

摘要

大语言模型后训练对提升推理、适应性和对齐至关重要。现有方法主要遵循强化学习（RL）和在线策略蒸馏（OPD）两种范式，但分别面临信用分配困难和教师模型选择困境。本文提出蒸馏强化学习（Distilled RL），将教师监督融入 RL 目标，提供细粒度指导并选择性转移新知识。该方法包含反向重要性采样、负样本重置和序列级几何归一化三个组件。实验表明，在族内和跨族蒸馏设置下，该方法在 pass@1 和 pass@k 指标上均显著优于标准 RL 和 OPD。

AI 推荐理由

论文核心目标是提升 LLM 推理能力，提出新训练范式解决现有方法在知识获取和信用分配上的局限。

研究机构

College of Elite Engineers, Nankai University Beijing Institute of Technology Zhongguancun Academy Institute of Automation, Chinese Academy of Sciences Harbin Institute of Technology College of Software, Nankai University

论文信息

作者 Chen Wang, Zhaochun Li, Jionghao Bai, Yining Zhang, Hexuan Deng et al.

发布日期 2026-07-19

arXiv ID 2607.17247