MM-ToolSandBox：评估视觉工具调用代理的统一框架

本文提出 MM-ToolSandBox，一个用于评估具身视觉工具调用代理的基准与框架。该框架提供涵盖 16 个领域、500+ 工具的状态执行环境，支持多图像、多轮次任务，要求代理将动态视觉输入转化为可执行工具调用。通过自动化场景生成管线，构建了 258 个人类验证场景。对 12 种主流模型的评估显示，当前模型视觉工具调用鲁棒性不足，最佳成功率低于 50%。失败分析表明，视觉精度而非规划能力是主要瓶颈，揭示了不同规模模型的研究改进方向。