从策略内自蒸馏中的通用相关性到特定输入归因

策略内自蒸馏通过后训练使模型利用环境反馈作为自身教师，无需外部标注即可提供稠密奖励。然而，该奖励的具体含义及归因机制尚不明确。本文证明该奖励实质上是响应与反馈间的点互信息（pMI），但其可能由特定输入推理或通用捷径提升。为此，作者提出 CREDIT 方法，通过批次对比基线隔离特定输入成分，惩罚在不相关输入下仍高概率的响应。实验表明，该方法在编码、科学推理及工具使用基准上均取得最优聚合性能。