摘要
统一多模态模型通过交织生成的“视觉思维”与文本推理来提升空间任务表现，但多步扩散导致推理成本激增。研究发现渲染后的视觉思维对准确率贡献有限，但其生成路径蕴含关键推理信息。为此，作者提出 Visual-OPSD 方法，利用拥有特权视觉思维的教师模型，通过同策略自蒸馏将推理能力迁移至仅见问题的学生模型。实验表明，该方法在九个基准测试中优于教师模型，推理速度提升 14.3 倍，并显著超越同规模多模态大模型。
AI 推荐理由
论文核心研究多模态推理机制，通过自蒸馏提升推理效率与能力。
研究机构
Xia an Jiaotong University
MOE KLINNS Lab, Xi an Jiaotong University
Shaanxi Province Key Laboratory of Big Data Knowledge Engineering
Sun Yat-sen University
Corresponding author
论文信息