LLM-as-RNN：一种用于记忆更新和序列预测的循环语言模型

大型语言模型是强大的序列预测器，但标准推理依赖于不可变的上下文历史。在生成步骤t出现错误后，模型缺乏可更新的记忆机制以改进步骤t+1的预测。我们提出LLM-as-RNN，一个仅用于推理的框架，通过将隐藏状态表示为自然语言记忆，将冻结的LLM转化为循环预测器。该状态以结构化系统提示摘要的形式实现，并通过反馈驱动的文本重写在每个时间步进行更新，从而实现在不更新参数的情况下学习。在固定的token预算下，LLM-as-RNN能够纠正错误并保留任务相关模式，有效通过语言进行在线学习。我们在医疗、气象和金融领域的三个序列基准上评估了该方法，在Llama、Gemma和GPT模型家族中显著优于零样本、全历史和MemPrompt基线，平均提高了6.5%的预测准确性，同时生成了标准上下文积累所缺失的可解释、可读的学习轨迹。