摘要
本文探讨了将自然语言技能初始化为紧凑连续上下文对象的可能性，而非在推理时反复解析冗长的 Markdown 文件。作者提出了 SoftSkill 方法，在冻结主干模型的前提下，通过下一词预测训练软技能增量，并将其作为潜在行为先验部署。实验表明，该方法在多个基准测试中显著优于无技能提示及现有 SkillOpt 方法，同时大幅减少了 token 消耗。研究进一步指出，部分任务技能应被视为控制模型进入任务的紧凑潜在变量，而非额外的文本解释。
AI 推荐理由
论文提出 SoftSkill，将自然语言技能压缩为连续上下文对象，核心解决技能表示与部署效率问题。
研究机构
The University of Hong Kong
Huawei Research
City University of Hong Kong
Huazhong University of Science and Technology
论文信息