摘要
针对视觉 - 语言模型在持续学习中面临的灾难性遗忘与参数爆炸问题,本文提出 iGSP 框架。该方法将对齐共享视为低秩子空间内的几何优化问题,通过隐式梯度子空间投影实现高效适配。流程分为子空间识别与正交子空间微调两阶段,利用路由概率剪枝冗余维度以最大化知识复用,并快速拟合任务特定残差。实验表明,该方法在保持 SOTA 精度的同时,显著提升了训练效率并大幅减少了可训练参数量。
AI 推荐理由
论文核心解决持续学习中的灾难性遗忘与负迁移,属于 Agent 自我进化与自适应的关键机制。
研究机构
Member, IEEE
Senior Member, IEEE
论文信息