摘要
本文指出当前视觉语言模型(VLM)评估过于侧重感知真实性,忽视了构建实物所需的严格结构与程序约束。为此,作者提出了 DreamHouse 基准,旨在评估“物理生成推理”能力,即合成同时满足几何、结构、可建造性及规范约束的工件。该基准基于住宅木框架结构领域,包含逾 2.6 万个经工程标准验证的结构,并支持迭代代理交互以评估规划、结构推理及自我修正能力。实验表明现有模型在此方面存在显著差距,确立了物理有效性作为多模态智能的关键评估维度。
AI 推荐理由
论文核心提出“物理生成推理”基准,重点评估模型的结构与过程推理能力。
研究机构
Salesforce AI Research
论文信息