Audio-Visual Flamingo：面向长复杂视频的开放音视频智能

本文提出 Audio-Visual Flamingo (AV-Flamingo)，一种用于音频、图像及长视频联合理解与推理的最先进开源多模态大语言模型。针对现有模型局限于短片段的问题，该研究贡献包括：构建强调时序与跨模态推理的大规模数据集；设计从短时感知到长程多事件推理的三阶段课程学习策略；并提出时序音视频交错思维链框架，将中间推理步骤显式锚定于时间戳，显著提升长视频中的时序对齐与可解释性。实验表明其在多项基准测试中表现优异。