摘要
视频推理分割需从自然语言中定位对象,常涉及空间推理与隐式引用。现有方法利用冻结的大视觉语言模型(LVLM)提取注意力图作为空间先验,但这些图优化于文本生成而非空间定位,导致信号模糊。本文提出 SteerSeg,一种轻量级框架,通过输入级条件引导注意力源。结合可学习软提示与推理导向的思维链(CoT)提示,重塑注意力分布以生成更集中的空间地图,并利用 CoT 衍生的属性消除相似对象间的歧义。该方法仅学习少量软提示,显著提升了 LVLM 的空间接地能力。
AI 推荐理由
论文利用思维链(CoT)推理解决视频分割中的歧义,推理是关键组件。
研究机构
Macquarie University
York University
CSIRO Data61
论文信息