技能新词：迈向基于技能的持续学习

现代大语言模型虽掌握多种技能并能灵活组合，但可扩展地获取新技能仍是难题：微调易导致灾难性遗忘，而基于上下文的方法受限于表达力与窗口大小。本文探索“技能新词”，即集成于词汇表中并针对特定技能优化的软令牌，旨在无需更新权重即可选择性扩展模型能力。研究发现预训练模型已蕴含过程知识令牌，且技能新词可被学习以提升特定技能表现，支持跨分布技能的零样本组合，为基于技能的持续学习提供了可扩展路径。