摘要
从单张图像推断质量、刚度等物理属性对仿真及具身 AI 至关重要,但现有方法多依赖多视角重建或物理监督。本文提出 SiPhy,一种统一的单图像物理属性推理框架,将对齐 3D 视觉线索、深度信息与语言驱动的材料知识。该框架从 RGB 图像采样伪体素点,提取 CLIP 特征,并将其映射至视觉语言模型提出的材料候选项。通过基于部件的对比聚合器确保区域一致性,并利用重量感知细化机制改进稠密物体的厚度与体积估计。实验表明,SiPhy 在多个基准上超越多视角重建方法,显著降低了质量、密度及杨氏模量的误差,展现了其作为物理理解数据标注引擎的潜力。
AI 推荐理由
论文核心聚焦于从单张图像推理物理属性,属于视觉与常识推理的关键研究。
研究机构
Michigan State University
论文信息