摘要
针对大型语言模型在专业金融推理中需昂贵微调的问题,本文提出自动化技能蒸馏与适应(ASDA)框架。该方法无需修改模型权重,通过迭代纠错学习自动生成结构化技能工件。教师模型分析学生模型的失败案例,按子领域和错误类型聚类,合成包含推理过程、代码模板及示例的技能文件,并在推理时动态注入。实验表明,ASDA 在 FAMMA 基准上显著优于现有无训练方法,算术与非算术推理性能分别提升 17.33% 和 5.95%,提供了可审计的领域适应新路径。
AI 推荐理由
论文核心提出自动技能蒸馏框架,生成结构化技能文件以增强模型推理,聚焦技能学习与适应。
研究机构
香港大学
论文信息