摘要
大型音频语言模型在声学理解上进展迅速,但在细粒度音频推理(如事件顺序、重复及持续时间识别)方面仍显不足。现有后训练方法依赖昂贵的外部标注或仅提供粗粒度语义信号。为此,本文提出 Audio-Zero,这是音频语言模型领域首个无标签自进化框架。该框架构建了基于未标注音频对比对的听觉自博弈游戏:多数“玩家”听取参考音频,一名“异常听众”听取细微变体。模型生成听觉线索并通过推理不一致性识别异常者。由于异常者由构造已知,该游戏无需标注答案即可提供可验证奖励。实验表明,Audio-Zero 在提升细粒度音频推理能力的同时,保留了广泛的音频理解能力。
AI 推荐理由
论文提出无标签自进化框架,核心机制是通过自博弈实现模型自我改进与能力演进。
研究机构
中国科学院声学研究所
中国科学院大学计算机科学与技术学院
北京航空航天大学人工智能研究院
加州大学默塞德分校
论文信息