Reinforcement Learning Speculative Decoding Efficiency Optimization Reasoning Models
摘要

强化学习后训练可提升大语言模型的推理能力,但自回归 rollout 生成是主要效率瓶颈。投机解码虽能加速生成,但在RL中因策略持续演化而难以应用。本文提出SpecRoll,一种投机rollout引擎,通过轻量级未来token头并行提议,并利用延迟验证器反馈进行轨迹局部隐状态修正(Reflex模块),无需反向传播。结合稀疏树验证与精确目标验证,在不改变目标分布和GRPO目标的前提下,实现1.26-2.15倍生成加速及端到端性能提升,优于FastGRPO。

AI 推荐理由

论文旨在通过SpecRoll加速强化学习后训练,直接提升LLM在数学推理等任务上的能力,属于推理优化的核心研究。

研究机构
VNU University of Engineering and Technology, Vietnam National University, Hanoi, Vietnam Viettel AI, Viettel Group, Hanoi, Vietnam
论文信息
作者 Nhat Minh Pham, Duy Tung Doan, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui
发布日期 2026-08-05
arXiv ID 2608.04962
相关性评分 9/10 (高度相关)