摘要
强化学习（RL）是推动大语言模型（LLM）超越模仿训练、获得更强推理能力的关键工具。其中，带可验证奖励的强化学习（RLVR）已成为提升 LLM 推理的重要范式。针对现有研究中关于高熵 token 与低概率 token 优先级的矛盾观点，本文提出了相对惊异指数（RSI），这是一种结合 token 熵与选中概率的信息论指标。基于 RSI，我们设计了自适应 token 过滤方法 RSI-S，有效剔除冗余和不稳定 token。实验表明，该方法在多个基准测试上显著提升了模型的推理准确率。
AI 推荐理由
论文核心研究通过 RLVR 提升 LLM 推理能力，提出新指标优化训练过程。
研究机构
ModelScope Team, Alibaba Group, Hangzhou, China
Shanghai Jiao Tong University, Shanghai, China
论文信息