Chain-of-Thought Reasoning Efficiency Low-Data Regime Pruning
摘要

长链思维推理虽提升多步问题性能,但常导致过度思考,增加推理成本与延迟,尤其在低数据微调场景下更为显著。本文提出 STOP(结构化在线策略剪枝),一种分析并剪枝长形式推理轨迹的在线算法。该方法通过节点分割、分类标注及推理树构建,将自蒸馏轨迹映射为结构化接口,并引入 ECN(最早正确节点)机制,保留至首个得出正确答案且具备结论功能节点的最短前缀,剔除冗余的后解推理同时保持语义连贯。实验表明,STOP 在大幅减少生成 token 的同时保持了准确率,并优化了推理结构效率。

AI 推荐理由

论文核心针对长链思维推理中的过度思考问题,提出结构化剪枝算法以优化推理效率。

研究机构
University of Washington University of Montreal
论文信息
作者 Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang et al.
发布日期 2026-05-13
arXiv ID 2605.13165
相关性评分 9/10 (高度相关)