摘要
本研究针对边缘设备部署小型语言模型（SLM）的需求，基准测试了五个亚十亿参数模型在数学推理任务上的表现。研究发现，全量微调会严重损害小于 300M 参数模型的性能，导致准确率低于零样本基线，产生“负迁移”。相比之下，参数高效微调（PEFT）如 LoRA 和 DoRA 不仅能避免灾难性遗忘，且在特定推理任务上表现更优。研究建议对齐后的亚十亿模型默认采用 PEFT，并警告避免对小架构使用全量微调。
AI 推荐理由
论文核心评估小模型在数学推理任务上的表现，重点分析微调策略对推理能力的影响。
研究机构
taechun1008@yahoo.com
论文信息