摘要
同策蒸馏(OPD)通过在模型自身策略生成的轨迹上训练来提升学生模型,但在多轮交互中易受误差累积影响。本文提出 SAGE-OPD,一种无需验证器的选择性干预框架。该方法依据环境反馈和教师判断,选择性跳过或干预特定回合,并利用教师置信度加权令牌级蒸馏,以减少不确定监督对错误历史的影响。实验表明,SAGE-OPD 在 ALFWorld 任务中显著优于基线,证明了在多轮 OPD 中 selectively 分配教师监督的有效性。
AI 推荐理由
提出选择性干预蒸馏框架,通过自我策略轨迹训练实现 Agent 自我改进与纠错。
研究机构
Meta AI
论文信息