摘要
在线策略自蒸馏(OPSD)将反馈转化为稠密令牌级监督信号,弥补了强化学习中稀疏结果奖励的不足。然而,传统OPSD中的自教师策略随学生策略共同演化,直接匹配会导致优化不稳定或分布过度集中。为此,本文提出自参考在线策略自蒸馏(SR-OPSD)。该方法在固定上下文下,通过变分表征确定自教师策略与参考策略之间的几何插值作为有效蒸馏目标,并利用Rényi散度族推广投影几何。该 formulation 分离了目标位置与投影方式:插值系数控制目标,Rényi阶数控制投影几何及对密度比的敏感度。实验表明,SR-OPSD在科学评估、数学推理和代码生成任务中达到SOTA或竞争性性能。
AI 推荐理由
论文提出SR-OPSD方法,通过自蒸馏机制实现模型在训练过程中的自我优化与自适应调整,属于Agent/LLM的自我进化范畴。
研究机构
上海财经大学
帝国理工学院
独立研究者
中国科学技术大学
伦敦大学学院
南洋理工大学
丹麦技术大学
哥本哈根大学
北京大学
论文信息