视觉语言模型推理中的视觉访问边界

本文探讨了视觉语言模型（VLM）在应用思维链（CoT）提示时，其推理过程是否持续依赖图像令牌访问。通过提出“视觉访问扫描”因果干预方法，定义了保持任务准确率所需的最小访问区域即“视觉访问边界”（VAB）。实验表明，CoT 并未通过延长对图像令牌的直接访问来提升性能，而是扩展了基于图像衍生隐藏状态的语言侧计算。研究进一步指出，CoT 的收益受限于感知读取能力：当视觉属性可被可靠读取时 CoT 有效，反之则无效。瓶颈在于属性的读取而非计数本身。