Reinforcement Learning Long-horizon Reasoning Self-summarization RLVR
摘要

针对现有可验证奖励强化学习(RLVR)方法常导致不必要冗长推理、损害连贯性且耗尽上下文预算的问题,本文提出 ReSum 框架。该框架使大语言模型能够通过自总结压缩并组织推理轨迹。ReSum 采用感知总结的自适应展开机制,对比评估自总结对推理过程的益处,并设计感知总结的优势函数以进行细粒度比较。实验表明,ReSum 在平均提升 4% 性能的同时,将推理展开长度减少了 18.6%,有效稳定了生成过程并缓解了错误传播。

AI 推荐理由

论文核心在于通过自总结优化长程推理轨迹,解决推理连贯性与上下文限制问题。

研究机构
University of Science and Technology of China Alibaba Group
论文信息
作者 Xucong Wang, Ziyu Ma, Yong Wang, Shidong Yang, Hailang Huang et al.
发布日期 2026-06-11
arXiv ID 2606.13316
相关性评分 9/10 (高度相关)