摘要
针对深度学习在动态医疗环境中持续适应新任务时面临的严重灾难性遗忘问题,主流方法依赖原始图像重演导致存储开销大且隐私风险高。为此,本文提出语义文本锚定增量学习(STAIL)框架。通过引入非对称语义巩固缓冲区(SCB),结合少量图像锚点和大量文本描述,以极低存储成本实现旧任务的密集语义重构。此外,设计LLM衍生的语义锚定机制(LSAM),利用冻结大语言模型的稳定语义空间作为先验,将视觉特征显式锚定于文本表示,从而在宏观和微观层面引导并约束可塑性与稳定性。实验表明该方法有效提升了模型性能并减少了遗忘。
AI 推荐理由
论文核心解决增量学习中的灾难性遗忘问题,提出基于语义文本锚点的记忆缓冲机制以保留旧任务知识。
论文信息