摘要
针对现有强化学习方法忽略轨迹中丰富过程信息的问题，本文提出程序性记忆蒸馏（PMD）。该方法将跨episode的信号转化为可复用的程序性记忆，并在训练中蒸馏至策略权重，形成推理时无需额外记忆的模型。PMD 通过三层抽象组织记忆，利用记忆条件的自教师监督学生模型，实现策略与记忆的协同进化。实验表明，PMD 在多个基准上显著优于基线方法。
AI 推荐理由
论文核心提出程序性记忆蒸馏机制，通过在线反思实现模型自我改进与策略内化，属自我进化范畴。
研究机构
Salesforce AI Research
论文信息