CRAFT：基于自由兄弟轨迹 rollout 的反事实信用分配用于自蒸馏代理强化学习

本文针对自蒸馏代理强化学习中现有方法仅依赖标量门控信号的局限性，提出了 CRAFT 框架。该方法包含三大支柱：利用兄弟轨迹进行反事实令牌重要性估计，提供带符号的细粒度信用分配；设计非对称控制器动态调整蒸馏权重；以及基于信用符号极化 KL 惩罚。理论证明与多环境实验表明，CRAFT 能显著提升 Agent 的自我进化能力，且增益源于算法改进而非实现偏差。