摘要
大型推理模型通过长思维链处理复杂任务,但中间步骤冗长导致过度思考及高昂推理成本。现有KV缓存压缩方法往往采用统一策略,仅关注移除内容。本文指出,不同推理状态对上下文丢失的容忍度不同,且缓存缩小会引发生成更多Token从而抵消节省。为此,提出ReCo框架,利用轻量级过程奖励估计器评分每一步,驱动奖励自适应的KV缓存压缩、反思Token惩罚及基于置信度的早停机制。实验显示,该方法在保持精度的同时显著减少Token生成并降低延迟。
AI 推荐理由
论文针对大型推理模型(LRM)的长思维链进行优化,直接关联推理效率与准确性,属于推理能力的核心研究。
研究机构
香港科技大学
西安交通大学
清华大学
北京大学
论文信息