基于跨episode 记忆与策略蒸馏的自我审查强化学习

针对强化学习中反馈稀疏或延迟导致难以定位错误动作的问题，本文提出自我审查强化学习（SRRL）框架。该框架在每次训练 episode 中嵌入显式的自我审查步骤：当首次响应失败时，模型生成审查以识别错误并指导改进的第二次尝试。不同于推理时的反射方法，SRRL 利用策略梯度优化自我审查过程，并通过选择性蒸馏将改进内化至基础策略，确保效果持久。此外，跨 episode 记忆机制存储成功的审查以供未来相似任务复用。实验表明，SRRL 在 GSM8K 基准上优于标准 RLVR 基线，显著提升了学习效率与最终奖励。