摘要
当前统一大型多模态模型(ULMMs)虽支持交错多模态推理,但通常生成完整图像作为中间状态,导致视觉令牌冗余并稀释关键状态转换的监督信号。本文提出 DeltaV,用增量视觉更新替代全图生成,仅预测捕捉变化的紧凑更新令牌。引入时间相似性路由器动态分配令牌预算,避免对不变内容重复建模。此外,构建了包含 105 万样本的 StructCoT 数据集。实验表明,该方法在减少 55.6% 视觉令牌生成的同时,将多模态推理性能提升 3.3%,且优于更大规模的开源模型。
AI 推荐理由
论文核心提出视觉状态更新范式以优化多模态推理过程,显著提升推理效率与性能。
研究机构
华中科技大学
MiL.M Plus, Xiaomi Inc.
论文信息