Multimodal LLM Visual Reasoning Pixel Grounding Segmentation
摘要

多模态大语言模型(MLLM)已从静态感知发展为交错的视觉 - 语言推理。针对推理中关注区域细化的基本操作,本文提出“先分割后回答”(SegAnswer)方法,将传统的边界框缩放升级为像素级分割掩码。该方法利用细粒度掩码隔离目标区域,有效过滤背景噪声与干扰物体,使视觉输入更精准。此外,分割后的离散图像块与 MLLM 基于位置嵌入的视觉令牌结构更契合。实验表明,SegAnswer 在高分辨率感知、通用感知及幻觉抑制等多个基准测试中均取得一致提升,并展现出可靠的像素级定位能力。

AI 推荐理由

论文提出像素级分割增强多模态推理,核心解决视觉推理中的细粒度感知问题。

研究机构
Gaojing School of Artificial Intelligence, Renmin University of China
论文信息
作者 Yake Wei, Yuan Wang, Fengyun Rao, Jing Lyu, Di Hu
发布日期 2026-07-07
arXiv ID 2607.05798
相关性评分 9/10 (高度相关)