摘要
多模态大语言模型在被动感知方面表现优异,但在需要多步时序推理的复杂视觉认知任务中往往力不从心。这种性能下降主要源于基于语言的推理存在固有歧义,难以准确描述连续的视觉变换。为此,我们提出了ChronoVision,这是一个旨在将视觉逻辑与潜在图像对齐的多模态框架。在监督微调阶段,重构式视觉头预测最终变换状态的潜在表示,而ROI注意力定位模块通过语义跨度查询聚焦关键视觉证据。在后训练阶段,我们应用带有隐式过程接地机制的强化学习,由评估结果正确性、潜在过程对齐和无监督视觉焦点的组合奖励函数引导。此外,我们引入了Vbvr-VQA数据集,通过将视频推理重构为严格的图像排序任务来评估时序跟踪能力。实验表明,ChronoVision在Vbvr-VQA上取得了74.8%的域内和71.6%的域外准确率,并在极具挑战性的跨领域基准IntPhys2上达到了55.0%的准确率,实现了最先进性能。
AI 推荐理由
论文核心解决多步时序推理难题,通过潜在状态重建提升视觉认知能力,直接针对推理机制进行优化。
研究机构
University of Illinois Urbana-Champaign
PediaMed AI
University of Pennsylvania
论文信息