摘要
强化学习与可验证奖励(RLVR)正迅速提升语言模型的推理能力,但其将奖励反馈转化为权重更新的优化层尚不明确。本文基于权重奇异结构分析,提出“谱继承”现象:RLVR 可复用基座模型的权重谱,仅通过调整输入输出奇异帧获取新行为。据此构建同谱优化(ISO)框架,包含离线合并与在线优化两种实例。实验表明,ISO 在推理和编码任务中显著减少训练步数并提升准确率,为 RLVR 提供了针对性的优化方案。
AI 推荐理由
论文核心研究通过 RLVR 优化层提升模型推理能力,提出谱继承机制显著加速推理任务训练。
研究机构
The University of Texas at Austin
UIUC
Emory University
Together AI
Recursive Superintelligence Inc.
ELLISS Institute Tübingen
论文信息