Benchmark Tool Use Procedural Modeling VLM Agent
摘要

本文提出 3DCodeBench,旨在系统评估视觉 - 语言模型(VLM)代理在程序化 3D 建模中的表现。该基准测试考察 VLM 将文本和图像参考转化为 3D 建模软件代码的能力。针对自动指标难以全面捕捉 3D 形状感知质量的问题,作者构建了基于人类 pairwise 偏好的排名平台 3DCodeArena。评估发现,失败主要源于 API 不匹配,且成功渲染仍常存在几何组件断开或悬浮问题;而测试时扩展策略(如增加思考预算和多轮 refinement)能显著提升性能。研究强调了高质量程序化编码数据及高保真反馈执行环境的重要性。

AI 推荐理由

论文核心评估 Agent 调用 3D 软件 API 及代码生成技能,属工具使用范畴。

研究机构
Google DeepMind
论文信息
作者 Yipeng Gao, Lei Shu, Genzhi Ye, Xi Xiong, Ameesh Makadia et al.
发布日期 2026-05-31
arXiv ID 2606.01057
相关性评分 8/10 (高度相关)