Multimodal CoT Knowledge Distillation Visual Saliency
摘要

多模态思维链(CoT)推理通过逐步推断整合视觉与文本线索。然而,在令牌预算有限的小模型中,模态交互融合往往抑制微小的跨模态差异,导致在处理“图同文异”或“文同图异”输入时难以区分。本研究提出视觉显著性引导蒸馏(VSSD)方法。该方法利用多模态大语言模型的注意力图生成捕捉任务敏感特征方向的扰动图像,并应用奇异值分解提取主导引导向量以指导层间蒸馏。在 ScienceQA 和 M$^3$CoT 数据集上的实验表明,VSSD 有效提升了理由生成与答案推断能力。

AI 推荐理由

论文核心提出 VSSD 方法,旨在解决多模态思维链推理中的融合难题,显著提升推理性能。

研究机构
云南大学信息科学与工程学院,中国
论文信息
作者 Hao Yang, Jin Wang, Xuejie Zhang
发布日期 2026-07-24
arXiv ID 2607.22013
相关性评分 9/10 (高度相关)