Multimodal LLMs Visual Reasoning Self-Distillation Modality Balance
摘要

在线策略自蒸馏(OPSD)是提升多模态大语言模型(MLLMs)视觉推理能力的标准后训练方法。然而,现有方法忽视了MLLM推理中固有的“模态不平衡”挑战,即文本信息主导生成导致多模态输入整合不足,限制了特权信息的有效性。为此,我们构建了包含缩放图像的正向教师和包含掩码图像的反向教师以展示不同程度的模态不平衡。研究发现模态平衡本身可作为特权信息。基于此,我们提出OPD-V,一种视觉OPSD范式,利用正负教师实例化该信息。通过定义模态平衡Logits边际来构建信任区域,从而筛选用于自蒸馏的在线策略token。实验表明,OPD-V在多个基准上持续提升了推理性能并降低了训练成本。

AI 推荐理由

论文旨在通过模态平衡机制提升多模态大模型的视觉推理能力,直接针对推理效果进行优化。

研究机构
新加坡国立大学 慕尼黑大学 慕尼黑机器学习中心 新杨大学
论文信息
作者 Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp et al.
发布日期 2026-08-05
arXiv ID 2608.05131
相关性评分 9/10 (高度相关)