Multimodal LLM Self-Distillation Fine-grained Understanding Visual Perception
摘要

多模态大语言模型在细粒度视觉理解上仍面临挑战,往往难以从全图中聚焦关键证据。本文发现“区域到全局”的感知差距:基于局部裁剪的模型表现优于全图输入。据此提出 Vision-OPD,一种区域到全局的自蒸馏框架,将模型自身的特权区域感知迁移至全图策略。该方法无需外部教师、真值标签或推理时工具,仅在 token 级别最小化师生分布差异。实验表明,其在多个基准上媲美或超越更大规模的开源及闭源模型。

AI 推荐理由

论文通过自蒸馏提升多模态模型的细粒度视觉感知与证据聚焦能力,属于推理基础能力的增强。

研究机构
中国信息通信研究院软件研究所 中国科学院大学
论文信息
作者 Qianhao Yuan, Jie Lou, Xing Yu, Hongyu Lin, Le Sun et al.
发布日期 2026-05-18
arXiv ID 2605.18740
相关性评分 8/10 (高度相关)