摘要
当前音视频问答方法常因解耦处理导致模态关联断裂及描述不一致,且缺乏长时序深度推理。为此,本文提出自动化数据引擎:一是实体锚定视频脚本化,利用全局实体列表确保跨片段指代一致并重构音视关联;二是线索引导的问答生成,先挖掘跨片段多模态线索再生成高质量问答对。基于此构建 OmniVideo-100K 数据集及测试集。实验表明,在该数据上微调模型显著提升了音视频推理性能,并在多个基准测试中展现出强大的泛化能力。
AI 推荐理由
论文核心解决音视频深层推理问题,提出证据链机制增强跨模态与时序推理能力。
研究机构
Nanjing University
CASIA
论文信息