摘要
针对视觉语言模型在测试时扩展中因感知与推理纠缠导致的脆弱性问题,本文提出 SPARC 框架。该框架受大脑感官到认知处理机制启发,采用两阶段流水线:先进行显式视觉搜索定位关键区域,再基于这些区域进行推理生成答案。这种分离机制支持独立的测试时扩展、非对称计算分配及上下文压缩,显著降低计算成本。实验表明,SPARC 在多个视觉推理基准上优于单体基线及强视觉接地方法,以更低的令牌预算实现了更高的准确率。
AI 推荐理由
论文核心在于解耦感知与推理电路,通过显式分离机制显著提升多模态模型的推理能力与测试时扩展性。
研究机构
清华大学
微软研究院
论文信息