Multimodal Reasoning Self-Distillation Shortcut Learning MLLM
摘要

在线策略自蒸馏(OPSD)在大型语言模型推理中表现优异,但直接扩展至多模态大模型时易产生“捷径”,即模型过度依赖文本参考目标而忽视图像信息。本文提出 ViGOS,一种面向多模态大模型后训练的视觉接地 OPSD 框架。该框架要求学生模型先生成视觉描述再进行推理得出最终答案。针对有效 rollout,分别由纯图像感知教师监督描述生成,由特权推理教师基于相同前缀监督推理过程及最终答案;仅在无效 rollout 时使用参考教师恢复输出格式。实验表明,ViGOS 在保留 OPSD 主要优势的同时,显著提升了易受捷径影响场景下的图像接地行为。

AI 推荐理由

论文核心解决多模态推理中的捷径问题,通过解耦感知与推理提升模型推理能力。

研究机构
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences University of Chinese Academy of Sciences
论文信息
作者 Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han
发布日期 2026-06-17
arXiv ID 2606.19120
相关性评分 9/10 (高度相关)