RLVR Reasoning Diversity Policy Entropy Semantic Branching
摘要

尽管带有可验证奖励的强化学习(RLVR)提升了大语言模型在多种推理任务上的表现,但关于其是扩展了推理能力边界还是仅提高了采样效率仍存在争议。本文通过受控迷宫实验和基于语义等价性的数学推理轨迹树结构(BODHI-Trees),探究RLVR训练模型的测试时探索本质。研究发现,RLVR导致的策略熵坍缩不仅是句法层面的,更伴随着语义分支熵的显著降低。虽然RLVR增强了对环境约束的遵循和回溯能力,但也限制了续写空间;证据表明,这种真实 rollout 多样性的代价正是RLVR获得样本效率提升的原因。

AI 推荐理由

论文深入探讨RLVR对LLM推理能力边界及语义分支的影响,直接关联推理机制的本质。

研究机构
ANITI, Université de Toulouse LINAGORA Labs
论文信息
作者 Soumadeep Saha, Krish Sharma, Akshay Chaturvedi, Nicholas Asher
发布日期 2026-08-03
arXiv ID 2608.02867
相关性评分 9/10 (高度相关)