摘要
大语言模型驱动的智能体系统通常依赖两种机制解决复杂问题:从过往经验中合成基于文本的知识与流程,以及为重复性子目标构建参数化(权重空间)技能库。现有研究多将二者视为正交领域。本文通过视模型权重为 LLM 可原生推理的模态来弥合这一差距。我们提出的 SkillSmith 利用前缀微调实例化参数化学习,增强 LLM 以同时摄入前缀权重和丰富的文本数据,执行指令引导的参数化合成,直接输出体现目标技能的新前缀权重。实验表明,该方法显著优于仅文本或仅权重的基线,实现了单模态适应无法达到的性能提升。
AI 推荐理由
论文核心研究参数化技能库的构建与组合,直接对应技能学习主题。
研究机构
Google DeepMind
论文信息