摘要
多模态大语言模型(MLLM)已从静态感知发展为交错的视觉 - 语言推理。针对推理中关注区域细化的基本操作,本文提出“先分割后回答”(SegAnswer)方法,将传统的边界框缩放升级为像素级分割掩码。该方法利用细粒度掩码隔离目标区域,有效过滤背景噪声与干扰物体,使视觉输入更精准。此外,分割后的离散图像块与 MLLM 基于位置嵌入的视觉令牌结构更契合。实验表明,SegAnswer 在高分辨率感知、通用感知及幻觉抑制等多个基准测试中均取得一致提升,并展现出可靠的像素级定位能力。
AI 推荐理由
论文提出像素级分割增强多模态推理,核心解决视觉推理中的细粒度感知问题。
研究机构
Gaojing School of Artificial Intelligence, Renmin University of China
论文信息