推进大型多模态模型中的创造性物理智能

大型多模态模型在感知与推理方面进展迅速，但在开放环境中发现基于视觉的解决方案能力尚不明确。本文提出 MM-CreativityBench 基准，评估模型在物理受限环境中的创造性工具使用能力。实验表明当前模型常因缺乏持续的接地探索而失败。为此，作者提出“功能接地对齐”方法，将创造性工具使用转化为偏好学习问题，利用直接偏好优化鼓励模型基于视觉证据进行属性 - 功能推理，并结合功能知识库指导实体探索与多轮规划，显著减少幻觉并提升选择准确性。