摘要
现实世界的视频推理常涉及多模态、多源输入,而现有任务通常假设简化的视频-文本设置,限制了身份匹配和以人为中心的推理。为此,我们引入了身份条件查询(ICQ)任务,要求模型联合关联并解释输入视频与人物参考图像,利用此条件解决身份定位、行为理解和时序推理等挑战。基于ICQ,我们提出了ISYV系统,包含具有六个难度级别的基准测试ISYV-Bench、大规模训练集ISYV-75K以及ISYV-Framework。实验表明主流多模态大模型在该基准上表现不佳,而ISYV模型优于强基线。
AI 推荐理由
论文核心聚焦于视频中的身份匹配、行为理解及因果推理,直接评估和提升多模态模型的复杂推理能力。
研究机构
北京交通大学
华为数字媒体与娱乐集团
自动化研究所,中国科学院
计算机科学与技术学院,中国科学院大学
电子与信息工程学院,同济大学
计算与通信学院,兰卡斯特大学
论文信息