摘要
本文提出 SLVMBench,这是首个联合评估视频大语言模型(Video-LLMs)能否从长时视频记忆中学习技能并将其应用于实时任务的基准测试。该基准提供包含嵌入教程的 2-3 小时视频流,模拟人类真实学习场景,要求模型提取程序性知识并回答实时问题。与侧重被动理解或短演示的现有基准不同,SLVMBench 测试了从记忆提取到技能迁移的全流程。评估结果显示,当前主流模型在从长上下文视频中学习和应用技能方面表现欠佳,揭示了现有技术的關鍵局限。
AI 推荐理由
论文核心评估视频大模型从长时记忆中学习并应用技能的能力,直接聚焦技能习得机制。
研究机构
清华大学
论文信息