摘要
近期思维链(CoT)推理提升了多模态大模型的视频理解能力,但现有方法依赖昂贵标注且计算开销巨大。针对视觉潜在推理局限于图像任务且需额外监督的问题,本文提出 VideoLatent。该模型引入专为视频设计的潜在注入模块,采用仅需标准视频问答三元组的“潜在自强制”训练范式,包含潜在对齐与多样性目标。实验表明,VideoLatent 在 14 个基准测试中优于现有模型,显著降低训练与推理开销,并具备强大的泛化性。
AI 推荐理由
论文核心提出视觉潜在推理新范式,显著提升多模态模型的视频推理能力与效率。
研究机构
The Chinese University of Hong Kong
Weitu AI
论文信息