结构化思维以改进推理与上下文剪枝

大型语言模型擅长生成长思维链，但往往冗长且内存效率低。本文提出“结构化思维”框架，将推理组织为交替的（探索性草稿）和（提炼结论）块。通过构建数据集并对预训练模型进行微调，使模型采纳该结构化风格，在推理基准测试中性能提升高达 8.08%。此外，显式结构支持上下文剪枝：保留结论而丢弃草稿，概念验证显示在数学任务中平均节省 85% 的上下文内存，性能仅下降 8.67%。