多模态推理 视觉状态更新 令牌效率 统一大模型
摘要

当前统一大型多模态模型(ULMMs)虽支持交错多模态推理,但通常生成完整图像作为中间状态,导致视觉令牌冗余并稀释关键状态转换的监督信号。本文提出 DeltaV,用增量视觉更新替代全图生成,仅预测捕捉变化的紧凑更新令牌。引入时间相似性路由器动态分配令牌预算,避免对不变内容重复建模。此外,构建了包含 105 万样本的 StructCoT 数据集。实验表明,该方法在减少 55.6% 视觉令牌生成的同时,将多模态推理性能提升 3.3%,且优于更大规模的开源模型。

AI 推荐理由

论文核心提出视觉状态更新范式以优化多模态推理过程,显著提升推理效率与性能。

研究机构
华中科技大学 MiL.M Plus, Xiaomi Inc.
论文信息
作者 Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo et al.
发布日期 2026-07-09
arXiv ID 2607.08434
相关性评分 9/10 (高度相关)