摘要
本文探讨多轮视觉推理,指出多模态大模型因推理与感知纠缠导致定位失败及轨迹冗余。为此,提出 PixelEyes 智能体,显式解耦二者:推理器决定搜索目标,专用感知工具负责定位。方法包括掩码引导的视觉搜索和语义区域广度优先搜索,以消除冗余循环。通过构建 PixelEyes-6K 数据集内化该逻辑,并推出 Pinpoint-Bench 基准测试,细粒度分析失败模式。实验表明现有模型在该基准上仍有巨大提升空间。
AI 推荐理由
论文核心解决多轮视觉推理中定位失败问题,提出解耦感知与推理的架构,显著提升推理效率。
研究机构
Wuhan University
论文信息