摘要
强化学习后训练可提升大语言模型的推理能力,但自回归 rollout 生成是主要效率瓶颈。投机解码虽能加速生成,但在RL中因策略持续演化而难以应用。本文提出SpecRoll,一种投机rollout引擎,通过轻量级未来token头并行提议,并利用延迟验证器反馈进行轨迹局部隐状态修正(Reflex模块),无需反向传播。结合稀疏树验证与精确目标验证,在不改变目标分布和GRPO目标的前提下,实现1.26-2.15倍生成加速及端到端性能提升,优于FastGRPO。
AI 推荐理由
论文旨在通过SpecRoll加速强化学习后训练,直接提升LLM在数学推理等任务上的能力,属于推理优化的核心研究。
研究机构
VNU University of Engineering and Technology, Vietnam National University, Hanoi, Vietnam
Viettel AI, Viettel Group, Hanoi, Vietnam
论文信息