摘要
针对开放域大语言模型训练缺乏可验证奖励的问题,本文提出 Flux-OPD 方法。该方法利用随学生性能演化的上下文作为训练中监督,以捕捉任务偏好。通过分解逆向 KL 目标,发现学生被蒸馏为上下文条件教师的几何平均,并识别出衡量教师间冲突的项。Flux-OPD 将上下文差异信号注入无上下文教师锚点,并利用冲突项加权校正强度,从而稳定蒸馏目标。实验表明,该方法在开放域任务上优于现有策略蒸馏范式。
AI 推荐理由
论文提出基于演化上下文的策略蒸馏,核心在于利用学生性能动态调整监督信号以实现自我改进。
研究机构
北京大学
清华大学
上海交通大学
中关村学院
北京大学数据智能与安全北京市重点实验室
论文信息