摘要
空间推理是视觉语言模型(VLM)面临的基础挑战。现有工具增强型代理受限于动作接口设计,缺乏灵活性。本文提出 SpatialClaw,一种无需训练的框架,采用代码作为动作接口。该框架维护一个预加载输入帧及感知原语的状态化 Python 内核,允许 VLM 代理根据 prior 输出逐步编写可执行代码单元。这种方法使代理能灵活组合感知结果,适应中间观测及任务需求。在 20 个基准测试中,SpatialClaw 平均准确率达 59.9%,显著优于现有方法。
AI 推荐理由
论文核心研究空间推理能力,提出新交互接口以解决 VLM 在 3D/4D 场景下的推理瓶颈。
研究机构
NVIDIA
论文信息