摘要
针对现有视觉语言模型局限于静态帧级推断的问题，本文提出 S-Agent，一种用于连续多视图图像和视频理解的空间工具使用代理范式。该方法将空间推理重构为时空证据积累过程，利用 VLM 作为语义规划器，结合分层空间工具实现从 2D 到 3D 的几何证据提升与聚合。引入场景记忆与代理记忆机制以整合跨帧证据。实验表明，S-Agent 在无训练条件下显著提升各类 VLM 性能，其生成的数据微调出的紧凑模型在空间推理任务上超越同类基线并媲美先进闭源模型。
AI 推荐理由
论文核心在于通过时空证据积累重塑空间推理，工具与记忆均为推理服务。
研究机构
NTU
THU
ByteDance
NWPU
Ropedia
论文信息