视觉语言模型 思维令牌 推理验证 消融实验
摘要

视觉 - 语言模型常通过增加连续或潜在非文本令牌来支持“视觉思维”,但准确率提升未必证明其真正用于推理。本文形式化提出“消融以验证”诊断原则,并实例化为令牌替换测试(TRT),通过替换中间令牌内容隔离性能依赖来源。实验表明,即使令牌内容被破坏,模型仍保留大部分性能提升,揭示存在拥有潜在通道与将其作为信息瓶颈使用的差距。建议将 TRT 作为评估连续思维令牌方法的标准诊断工具。

AI 推荐理由

论文核心研究视觉语言模型中连续思维令牌是否真正用于推理,提出验证方法。

研究机构
华盛顿大学
论文信息
作者 Tianyi Zhang, Mahtab Bigverdi, Ranjay Krishna
发布日期 2026-05-20
arXiv ID 2605.21642
相关性评分 9/10 (高度相关)