摘要
长链思维推理虽提升多步问题性能,但常导致过度思考,增加推理成本与延迟,尤其在低数据微调场景下更为显著。本文提出 STOP(结构化在线策略剪枝),一种分析并剪枝长形式推理轨迹的在线算法。该方法通过节点分割、分类标注及推理树构建,将自蒸馏轨迹映射为结构化接口,并引入 ECN(最早正确节点)机制,保留至首个得出正确答案且具备结论功能节点的最短前缀,剔除冗余的后解推理同时保持语义连贯。实验表明,STOP 在大幅减少生成 token 的同时保持了准确率,并优化了推理结构效率。
AI 推荐理由
论文核心针对长链思维推理中的过度思考问题,提出结构化剪枝算法以优化推理效率。
研究机构
University of Washington
University of Montreal
论文信息