摘要
多模态大语言模型在细粒度视觉理解上仍面临挑战,往往难以从全图中聚焦关键证据。本文发现“区域到全局”的感知差距:基于局部裁剪的模型表现优于全图输入。据此提出 Vision-OPD,一种区域到全局的自蒸馏框架,将模型自身的特权区域感知迁移至全图策略。该方法无需外部教师、真值标签或推理时工具,仅在 token 级别最小化师生分布差异。实验表明,其在多个基准上媲美或超越更大规模的开源及闭源模型。
AI 推荐理由
论文通过自蒸馏提升多模态模型的细粒度视觉感知与证据聚焦能力,属于推理基础能力的增强。
研究机构
中国信息通信研究院软件研究所
中国科学院大学
论文信息