通过元学习代理记忆设计实现持续学习

基础模型的状态无关性限制了代理系统持续学习的能力，这是长期推理和适应的核心能力。为解决这一问题，代理系统通常引入记忆模块以保留和重用过去经验，从而实现在测试时的持续学习。然而，现有记忆设计多为人工制定且固定，难以适应现实任务的多样性和非平稳性。本文提出ALMA（用于代理系统的自动化元学习记忆设计），通过元学习替代手工设计的记忆模块，减少人工干预，使代理系统能够在多个领域中成为持续学习者。该方法采用一个元代理，在开放环境中搜索以可执行代码表示的记忆设计，理论上允许发现任意记忆结构及其检索和更新机制。在四个顺序决策领域的广泛实验表明，所学记忆设计在所有基准测试中比最先进的手工设计记忆模块更有效、更高效地从经验中学习。当安全开发和部署时，ALMA代表了迈向自我改进AI系统的重要一步，这些系统能够学习成为自适应、持续学习的代理。