摘要
针对可验证奖励的强化学习(RLVR)中终端奖励监督粗糙的问题,现有自蒸馏方法存在技能不匹配或路径依赖局限。本文提出群反射自蒸馏(GRSD),利用策略自身验证轨迹生成能力对齐的指导信号。通过对同策略组内轨迹进行反思,并利用停止梯度快照对比成败反射,构建群组级特权指导。该方法在保留验证方向的同时优化步级信用分配。实验表明,GRSD 在多种代理环境和模型规模下均优于基线,且具有更强的泛化能力。
AI 推荐理由
论文提出群反射自蒸馏机制,通过自我反思和对比成功/失败轨迹实现策略自我改进,核心聚焦 Agent 自我进化。
研究机构
University of Science and Technology of China
Baidu Inc.
Peking University
Beijing University of Posts and Telecommunications
论文信息