用于接地视觉语言推理的指令 - 证据对比双流解码

视觉语言模型在指令遵循和开放域推理中表现优异，但常生成缺乏视觉依据的流畅输出，且指令提示会加剧此问题。为此，本文提出指令 - 证据对比双流解码（IECD2）框架，在生成过程中平衡语言信息量与视觉忠实度。该方法维护两个并行令牌概率分布：指令驱动流促进表达性回答，证据驱动流确保严格视觉接地。通过对称 KL 对比门自适应融合两流，抑制仅由语言先验支持而无视觉证据的令牌。多数据集评估显示，该方法显著提升了任务准确率与推理性能，并大幅减少了幻觉。