NewtPhys：基础模型理解牛顿物理学吗？

以往研究多利用合成场景评估基础模型的物理推理，但缺乏评估真实低级牛顿理解所需的视觉保真度。本文提出 NewtPhys，这是一个基于真实世界多视角图像构建的 4D 物理标注数据集，包含细粒度的时间步注释（如 3D 力及非模态像素级物理量）。利用该数据集，我们系统评估了 56 个视觉语言模型和 10 个视觉基础模型，揭示了其在低级物理推理方面的局限性。该工作不仅提供了基准测试，更为未来基于物理的视觉研究奠定了基础。