RLVR 优化算法 推理能力 谱分析 大模型训练
摘要

强化学习与可验证奖励(RLVR)正迅速提升语言模型的推理能力,但其将奖励反馈转化为权重更新的优化层尚不明确。本文基于权重奇异结构分析,提出“谱继承”现象:RLVR 可复用基座模型的权重谱,仅通过调整输入输出奇异帧获取新行为。据此构建同谱优化(ISO)框架,包含离线合并与在线优化两种实例。实验表明,ISO 在推理和编码任务中显著减少训练步数并提升准确率,为 RLVR 提供了针对性的优化方案。

AI 推荐理由

论文核心研究通过 RLVR 优化层提升模型推理能力,提出谱继承机制显著加速推理任务训练。

研究机构
The University of Texas at Austin UIUC Emory University Together AI Recursive Superintelligence Inc. ELLISS Institute Tübingen
论文信息
作者 Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song et al.
发布日期 2026-07-21
arXiv ID 2607.19331
相关性评分 9/10 (高度相关)