Spatial Reasoning Action Interface Code-as-Action VLM Agents
摘要

空间推理是视觉语言模型(VLM)面临的基础挑战。现有工具增强型代理受限于动作接口设计,缺乏灵活性。本文提出 SpatialClaw,一种无需训练的框架,采用代码作为动作接口。该框架维护一个预加载输入帧及感知原语的状态化 Python 内核,允许 VLM 代理根据 prior 输出逐步编写可执行代码单元。这种方法使代理能灵活组合感知结果,适应中间观测及任务需求。在 20 个基准测试中,SpatialClaw 平均准确率达 59.9%,显著优于现有方法。

AI 推荐理由

论文核心研究空间推理能力,提出新交互接口以解决 VLM 在 3D/4D 场景下的推理瓶颈。

研究机构
NVIDIA
论文信息
作者 Seokju Cho, Ryo Hachiuma, Abhishek Badki, Hang Su, Byung-Kwan Lee et al.
发布日期 2026-06-11
arXiv ID 2606.13673
相关性评分 9/10 (高度相关)