摘要
本文研究了多模态大模型(MLLMs)在全向图像中随视角变化的空间推理挑战,提出“视角条件空间推理”(PCSR)概念。作者构建了包含 8.4 万问答对的 PCSR-Bench 基准,涵盖基础感知与高级推理任务。评估显示模型在基础方向判断上表现尚可,但在自我旋转、畸变及组合推理上存在显著差距。强化学习实验表明该能力具有部分可塑性,可通过针对性优化改善,揭示了当前 MLLMs 的关键瓶颈。
AI 推荐理由
论文核心研究多模态大模型在视角变化下的空间推理能力,构建基准并分析推理缺口。
研究机构
The Hong Kong Polytechnic University
Guangzhou University
Queen Mary University of London
论文信息