Self-Distillation Reinforcement Learning Skill Distillation Mathematical Reasoning
摘要

当 rollout 组全对或全错时,可验证奖励强化学习缺乏组相对信号。为此,本文提出 SKALD(技能锚定潜在蒸馏),一种基于 Qwen3-Base 的策略内自蒸馏框架。该框架利用仅含问题的学生模型和基于抽象、显式答案过滤技能卡的条件教师模型,将技能诱导的优势转移至共享参数中,测试时无需特权输入。为稳定上下文分布不匹配,SKALD 采用退火指数倾斜目标函数。在五个数学基准上的实验表明,SKALD 显著优于 GRPO,证明抽象技能在组相对奖励失效时能提供密集监督。

AI 推荐理由

论文核心在于将抽象技能蒸馏入模型权重,直接针对技能学习与参数化表示进行研究。

研究机构
北京航空航天大学航天学院 美团长交互团队 天摩实验室,北京航空航天大学
论文信息
作者 Yubo Jiang, Fengying Xie, Zhiguo Jiang, Haopeng Zhang
发布日期 2026-08-10
arXiv ID 2608.09826
相关性评分 9/10 (高度相关)