摘要
针对现有可验证奖励强化学习(RLVR)方法常导致不必要冗长推理、损害连贯性且耗尽上下文预算的问题,本文提出 ReSum 框架。该框架使大语言模型能够通过自总结压缩并组织推理轨迹。ReSum 采用感知总结的自适应展开机制,对比评估自总结对推理过程的益处,并设计感知总结的优势函数以进行细粒度比较。实验表明,ReSum 在平均提升 4% 性能的同时,将推理展开长度减少了 18.6%,有效稳定了生成过程并缓解了错误传播。
AI 推荐理由
论文核心在于通过自总结优化长程推理轨迹,解决推理连贯性与上下文限制问题。
研究机构
University of Science and Technology of China
Alibaba Group
论文信息