Pensieve范式：具备状态的语言模型掌握其自身上下文

在《哈利·波特》的世界中，当邓布利多的思维负担过重时，他会将记忆提取到一个名为Pensieve的装置中以备日后回顾。在人工智能领域，尽管我们拥有成熟的数据库和检索系统，但模型却缺乏操作这些系统的‘魔杖’，只能被动接受人工构建的上下文作为其全部记忆。本文最终将‘魔杖’交还给模型本身。我们引入了一种新的基础模型类——StateLM，该模型配备了内部推理循环以管理自身状态。我们为模型配备了包括上下文剪枝、文档索引和笔记记录等一套记忆工具，并训练其主动管理这些工具。通过学习动态地构建自己的上下文，模型摆脱了固定窗口架构的限制。在不同规模模型上的实验表明，StateLM在各种场景下均表现出色。在长文档问答任务中，StateLM在所有模型规模上均优于标准LLM；在聊天记忆任务中，其准确率绝对提升了10%至20%；在深度研究任务BrowseComp-Plus中，性能差距更加显著：StateLM达到52%的准确率，而标准LLM仅能达到约5%。最终，我们的方法使LLM从被动预测器转变为具有状态感知能力的智能体，推理过程成为一种可管理的状态化流程。