摘要
大型语言模型虽在复杂推理任务中表现卓越,但常存在“计算过度思考”问题,生成冗余步骤导致延迟和成本增加。现有剪枝方法多依赖静态预算或启发式过滤。本文提出 OS-Pruner,一种轻量级插件框架,将思维链剪枝建模为最优停止问题。该方法通过学习显式效用函数,动态权衡最终答案准确率与生成长度,从而判断推理链的最佳终止点。实验表明,OS-Pruner 能在几乎不牺牲准确率的前提下,将生成长度减少 20%-60%。
AI 推荐理由
论文核心研究思维链(CoT)剪枝,通过最优停止理论优化推理过程,直接针对推理机制。
研究机构
MIT
Columbia Business School
论文信息