摘要
强制思维链(CoT)被广泛认为能提升视觉语言模型在视频问答中的可靠性。本文提出一种包含三个探针的评估方案来验证该假设:对比直接回答、CoT、答案优先及无视频条件下的配对准确率;对 CoT 链条进行反事实视频交换诊断;以及构建四级视觉退化阶梯。在 Video-MME 子集上应用该方案评估 Qwen2.5-VL 发现:CoT 链条高度依赖视频内容,但强制 CoT 并未提高多项选择题准确率,且在 7B 模型上导致轻微但统计显著的下降。
AI 推荐理由
论文核心评估思维链(CoT)在视频问答中的有效性,直接研究推理机制。
研究机构
University of Illinois Urbana-Champaign
Northeastern University
Southern Methodist University
论文信息