摘要
大语言模型日益需要跨领域专业化,但现有方法难以在多重领域能力与严格的内存及推理约束间取得平衡。本文提出 SkillWeave,一种模块化改进框架,使 LLM 能在固定内存预算下实现专业化。该框架将通用模型的全量能力划分为“技能包”——即轻量级、领域专用的增量模块,以重组和精炼模型内部知识。为高效部署,SkillWeave 集成 SkillZip 将技能包压缩为紧凑且可即时推理的格式。在多任务及智能体基准测试中,9B 参数的 SkillWeave 模型表现优于多个基线,甚至超越 32B 单体 LLM,同时实现高达 4 倍的加速。
AI 推荐理由
论文核心提出模块化技能包(skillpacks)机制,专注于领域专用技能的重组与优化。
研究机构
Harbin Institute of Technology, Shenzhen, China
The Hong Kong Polytechnic University
Huawei Technologies Co., Ltd.
Shanghai Jiaotong University
论文信息