通过思维链微调优化用于 NL2SQL 的小语言模型

将自然语言转换为 SQL（NL2SQL）是企业数据民主化的关键瓶颈。尽管大语言模型具备出色的零样本能力，但其高昂的推理成本限制了规模化部署。本文探讨了大小模型在 NL2SQL 任务上的微调效果，发现反直觉的缩放现象：大模型微调收益甚微且易过拟合，而小模型显著提升。特别是引入显式思维链（CoT）推理增强数据集后，小模型准确率从 36% 跃升至 54.5%。研究表明，迁移推理模式可使低成本小模型接近生产级性能，显著降低延迟与成本。