摘要
多模态大语言模型在推理中常使用草图、标注及中间图像,但其是否真正依赖这些视觉状态尚不明确。现有基准存在任务覆盖窄或评估仅关注最终答案等局限。本文提出 See2Think 统一评估框架,包含涵盖 12 类任务的 See2ThinkBench 和记录思维与视觉动作的 VAoT 协议。评估发现视觉推理高度依赖模型与环境,忠实渲染是主要瓶颈。干预实验表明,模型行为确实依赖于视觉状态,反馈受损会导致准确率显著下降。
AI 推荐理由
论文核心研究多模态模型在推理过程中对中间视觉状态的依赖机制与评估。
研究机构
香港理工大学
中央民族大学
上海人工智能实验室
广东工业大学
论文信息