摘要
有效的长上下文建模不仅在于保留更多过去信息,更在于保留对未来可能相关的信息。现有的测试时训练(TTT)方法仅优化重建或在线适应目标,未考虑所保留信息的未来效用。本文提出测试时上下文蒸馏(TTCD),一种引入自监督目标以将有限记忆容量分配给未来使用的TTT框架。具体而言,TTCD利用长窗口教师模型监督短窗口学生模型的快速权重,通过隐藏状态差异提供密集信号,引导模型记忆对预测未来token至关重要的上下文信息。实验表明,IP-TTCD在长上下文语言建模任务中表现优异,并赋予预训练Transformer推理时的持续学习能力。
AI 推荐理由
论文核心研究长上下文建模中的记忆机制,提出通过蒸馏分配有限记忆容量以保留关键信息。
研究机构
Princeton University
UC Berkeley
UC Santa Cruz
Carnegie Mellon University
论文信息