大型视觉语言模型中的认知专家混合

大型视觉语言模型（LVLMs）需具备强大的图文联合推理能力。针对现有管道忽视查询认知层级差异的问题，本文提出一种证据驱动的多模态推理框架。该框架利用布鲁姆分类法作为分层推理协议，通过两阶段认知言语化：首先生成原子证据摘要，随后转化为阶段性推理轨迹。轻量级推理轨迹模块定量分析轨迹，使证据使用与推理进程显式化。实验表明，该方法显著提升了感知与推理能力，并揭示了不同查询引发的认知入口差异。