Reinforcement Learning Self-Improvement Self-Distillation Agent Evolution Credit Assignment
摘要

针对可验证奖励的强化学习(RLVR)中终端奖励监督粗糙的问题,现有自蒸馏方法存在技能不匹配或路径依赖局限。本文提出群反射自蒸馏(GRSD),利用策略自身验证轨迹生成能力对齐的指导信号。通过对同策略组内轨迹进行反思,并利用停止梯度快照对比成败反射,构建群组级特权指导。该方法在保留验证方向的同时优化步级信用分配。实验表明,GRSD 在多种代理环境和模型规模下均优于基线,且具有更强的泛化能力。

AI 推荐理由

论文提出群反射自蒸馏机制,通过自我反思和对比成功/失败轨迹实现策略自我改进,核心聚焦 Agent 自我进化。

研究机构
University of Science and Technology of China Baidu Inc. Peking University Beijing University of Posts and Telecommunications
论文信息
作者 Binbin Zheng, Zijun Xie, Guanqun Zhao, Enlei Gong, Xing Ma et al.
发布日期 2026-07-30
arXiv ID 2607.28076
相关性评分 9/10 (高度相关)