摘要
复杂的声学问题往往需要模型执行声学操作、与外部工具交互,并基于文本或处理后的音频观察进行推理,而非直接从固定音频输入中回答。为此,我们研究了工具交互式音频推理,开发了SpeechAgent-R,该音频智能体能协调其内在的多模态理解能力与外部技能和工具。为支持此能力,我们构建了HIU语料库,包含65,492个交互轨迹和507.6小时的音频,涵盖24项任务、8种技能和9种工具。SpeechAgent-R首先通过基于轨迹的监督微调学习结构化交互行为,随后通过多轮强化学习改进决策。此外,我们引入HIU-Bench联合评估任务性能、交互质量及对多样化任务设置的泛化能力。实验表明,学习与工具协调能力显著提升了音频智能体处理多样化任务和自适应工具交互的能力。
AI 推荐理由
论文核心聚焦于音频Agent如何协调内部理解与外部技能/工具的使用,涉及技能调用、工具交互及多轮强化学习优化。
研究机构
北京科技大学
李尔汽车公司
论文信息