摘要
在将大语言模型适配特定领域时,兼顾领域专业知识与推理能力仍是一项紧迫挑战。本研究提出了一种通用方法,能够从领域特定词汇出发,为任意领域构建高质量的合成指令数据。作为演示,该方法被应用于金融领域,构建了一个包含约 95 亿 token 的大规模指令数据集,其中集成了思维链推理轨迹。评估结果证实,相较于基线模型,该方法在金融基准测试中显著提升了性能。此外,研究还报告了推理轨迹长度对性能的影响及其局限性,并开源了相关模型与数据集。
AI 推荐理由
论文核心在于构建含思维链(CoT)的合成数据以直接提升领域模型的推理能力。
研究机构
Nomura Research Institute, Ltd., NRI Indonesia
论文信息