策略蒸馏 演化上下文 开放域学习 自我改进
摘要

针对开放域大语言模型训练缺乏可验证奖励的问题,本文提出 Flux-OPD 方法。该方法利用随学生性能演化的上下文作为训练中监督,以捕捉任务偏好。通过分解逆向 KL 目标,发现学生被蒸馏为上下文条件教师的几何平均,并识别出衡量教师间冲突的项。Flux-OPD 将上下文差异信号注入无上下文教师锚点,并利用冲突项加权校正强度,从而稳定蒸馏目标。实验表明,该方法在开放域任务上优于现有策略蒸馏范式。

AI 推荐理由

论文提出基于演化上下文的策略蒸馏,核心在于利用学生性能动态调整监督信号以实现自我改进。

研究机构
北京大学 清华大学 上海交通大学 中关村学院 北京大学数据智能与安全北京市重点实验室
论文信息
作者 Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu et al.
发布日期 2026-07-30
arXiv ID 2607.28022
相关性评分 9/10 (高度相关)