Reinforcement Learning Audio Reasoning Self-Evolving Rewards
摘要

针对音频推理中现有奖励机制的局限性,本文提出AudioRubrics框架。该框架利用自进化、基于音频证据的评分标准进行强化学习监督。通过从原始波形合成样本级评分标准,并根据模型 rollout 结果动态再生和重加权,提供持续的学习信号以针对当前策略弱点。实验表明,该方法在多个基准上显著优于基线,且收益随评分生成器和评判器能力的提升而扩展,证明了锚定声学证据的有效性。

AI 推荐理由

论文核心在于提出自我进化的评分标准(self-evolving rubrics),使奖励机制能自适应模型能力并持续改进,符合自我进化定义。

研究机构
马里兰大学,帕克分校 伊利诺伊大学芝加哥分校 伊利诺伊大学厄巴纳-香槟分校 微软研究院 MBZUAI
论文信息
作者 Fangxu Yu, Tao Feng, Dehai Min, Zinan Lin, Weijia Xu et al.
发布日期 2026-08-03
arXiv ID 2608.02831
相关性评分 9/10 (高度相关)