摘要
时间序列基础模型(TSFMs)通过大规模预训练实现了强大的零样本预测能力,但在面对分布偏移时适应下游领域仍具有挑战性。现有解决方案面临权衡:参数化适应可能导致灾难性遗忘并需要高昂的多领域维护成本,而非参数化检索虽能提升预测效果,但因数据存储搜索导致高推理延迟。本文提出参数化记忆蒸馏方法,并实现为TS-Memory,一种轻量级的记忆适配器,用于增强冻结的TSFMs。TS-Memory分为两个阶段训练:首先构建一个离线且无泄漏的kNN教师模型,从检索到的未来数据中合成置信度感知的分位数目标;其次通过置信度门控监督将检索诱导的分布校正蒸馏到轻量记忆适配器中。在推理过程中,TS-Memory以常数时间开销融合记忆与主干网络预测,实现无需检索的部署。实验表明,在多种TSFMs和基准测试中,TS-Memory在点预测和概率预测方面均优于代表性适应方法,且效率与冻结主干相当。
AI 推荐理由
论文聚焦于时间序列基础模型的记忆机制设计,提出轻量级记忆适配器解决分布偏移问题。
研究机构
The Hong Kong University of Science and Technology (Guangzhou)
Guangzhou, China
Tencent
Shenzhen, China
Squirrel AI Learning
Seattle, Washington, USA
The Hong Kong University of Science and Technology
Hong Kong, China
论文信息