摘要
现实世界中的代理学习常受限于高昂的环境交互成本。虽然上下文学习能高效利用交互历史,但移除上下文后增益即消失。本文提出“经验蒸馏”问题,旨在无需额外环境交互的情况下,将交互历史内化为模型权重。实验表明,该方法在软件工程任务和文本冒险游戏中保留了至少 64.8% 的上下文学习增益,远超直接监督微调的 3.8%。相比传统强化学习基线,该方法以少至少 9.6 倍的环境样本实现了同等性能,显著提升了样本效率。
AI 推荐理由
论文提出经验蒸馏机制,使 Agent 将交互经验内化为模型权重,实现自我改进与进化。
研究机构
Monash University
论文信息