论 PEFT 的扩展：迈向万亿参数下的百万个性化模型

参数高效微调（PEFT）通常被视为全量微调的低成本替代方案。本文探讨其更广泛的角色：将小型可训练适配器作为强大共享基础模型之上的持久化本地状态。在此框架下，基座模型提供共享能力，而适配器承载实例特定的行为，如偏好、技能、工具习惯及类记忆更新。研究围绕三个扩展维度展开：向上扩展（更强的共享先验使小型局部更新更有效）、向下扩展（探究适配器在保持可靠性的前提下能多小）以及向外扩展（众多持久化适配实例的共存）。MinT 系统展示了管理适配器身份、版本、溯源、评估及服务驻留的基础设施。结果表明，PEFT 可作为持久化个人模型的紧凑基底，而非仅是预算替代品。