摘要
时间序列基础模型(TSFMs)通过大规模预训练实现了强大的零样本预测能力,但在分布偏移下适应下游领域仍具挑战性。现有解决方案面临权衡:参数化适配会导致灾难性遗忘并需要高昂的多领域维护成本,而非参数化检索虽能提升预测效果,但因数据存储搜索带来高推理延迟。本文提出参数化记忆蒸馏方法,并实现为TS-Memory,一种轻量级的记忆适配器,用于增强冻结的TSFMs。TS-Memory分为两个阶段进行训练:首先构建一个离线且无泄漏的kNN教师模型,从检索到的未来数据中合成置信度感知的分位数目标;其次通过置信度门控监督,将检索诱导的分布校正蒸馏至轻量记忆适配器中。在推理过程中,TS-Memory以常数时间开销融合记忆与主干网络的预测结果,实现无需检索的部署。实验表明,在多种TSFMs和基准测试中,TS-Memory在点预测和概率预测方面均优于代表性适配方法,且效率与冻结主干相当。
AI 推荐理由
论文标题和内容明确围绕Memory设计,提出TS-Memory作为核心方法,属于Agent Memory机制研究。
论文信息