通过自蒸馏增强基于规则的强化学习

基于规则的强化学习在开放任务中表现优异，但存在探索受限问题，导致未探索标准无法优化。现有方法引入外部指导造成训练推理不匹配。本文指出“被抑制标准”这一新失败模式，即部分满足的标准因奖励聚合而丢失信号。为此，提出准则蒸馏策略优化（CriPO），利用在线自蒸馏同时解决两类问题：针对未探索标准构建注入式自教师，针对被抑制标准采用反事实自教师翻转优势值。实验表明，CriPO 在医学和科学基准上以更少步骤实现更强性能。