Self-Distillation Multimodal LLMs Self-Improvement Visual Perception
摘要

多模态大语言模型(MLLMs)的自我提升通常依赖仅提供粗略标量反馈的基于奖励的方法。知识蒸馏通过密集的词元级监督提供了更丰富的替代方案,但在视觉领域,它通常依赖于使用外部注释、工具或更强模型构建的特权上下文。本文引入了CVPD(对比反事实视觉过程蒸馏),据我们所知,这是首个用于MLLMs的完全自包含的密集、在线策略、词元级视觉自我蒸馏框架。CVPD识别出视觉盲点,在这些区域中,放大某区域会改变并锐化模型的答题分布,而移除该区域则使全图行为基本保持不变。这些区域揭示了模型能够编码但在全图条件下未能一致利用的感知信息。我们提出了一个三门控反事实标准,直接从模型自身的响应中识别这些区域,并将其转化为用于自我蒸馏的密集对比监督。在Qwen3-VL-8B-Instruct上,CVPD在十二个基准测试中超越了六种自我进化基线,包括依赖外部GPT-4o监督的方法,且无任何性能回退。它在OCRBench上获得+3.60的提升,在MMStar细粒度感知和逻辑推理上分别获得+3.38和+3.08的提升,同时在更广泛的多模态基准测试中保持或提升了性能。

AI 推荐理由

论文核心在于MLLM的自我改进(Self-improvement)与自我蒸馏,属于Agent/LLM自我进化范畴。

研究机构
Mohamed bin Zayed University of Artificial Intelligence Alto University
论文信息
作者 Shravan Venkatraman, Omkar Thawakar, Ritesh Thawkar, Abdelrahman Shaker, Rao Muhammad Anwer
发布日期 2026-08-10
arXiv ID 2608.09931
相关性评分 9/10 (高度相关)