摘要
针对音频推理中现有奖励机制的局限性,本文提出AudioRubrics框架。该框架利用自进化、基于音频证据的评分标准进行强化学习监督。通过从原始波形合成样本级评分标准,并根据模型 rollout 结果动态再生和重加权,提供持续的学习信号以针对当前策略弱点。实验表明,该方法在多个基准上显著优于基线,且收益随评分生成器和评判器能力的提升而扩展,证明了锚定声学证据的有效性。
AI 推荐理由
论文核心在于提出自我进化的评分标准(self-evolving rubrics),使奖励机制能自适应模型能力并持续改进,符合自我进化定义。
研究机构
马里兰大学,帕克分校
伊利诺伊大学芝加哥分校
伊利诺伊大学厄巴纳-香槟分校
微软研究院
MBZUAI
论文信息