摘要
针对策略蒸馏无法区分多模态推理失败源于感知还是后续推理的问题,本文提出感知校正蒸馏(PCD)。该方法无需标签,利用下游失败与师生不一致作为互补证据,通过贝叶斯证据组合构建软“与”门,仅在两者共存时强化蒸馏。PCD 采用分离的感知 - 推理 rollout 及保均权重,保持推理目标不变。在八个基准测试中,PCD 显著提升了模型性能,证明有效的多模态蒸馏不仅依赖教师预测,更需精准定位感知校正时机。
AI 推荐理由
论文核心解决多模态推理中感知与推理的归因问题,直接提升推理能力。
研究机构
Equal contribution
论文信息