通过知识化经验学习对齐智能体世界模型

当前大型语言模型（LLMs）存在关键的模态断层：它们拥有丰富的语义知识，但缺乏遵循物理世界不变法则的过程性基础。因此，尽管这些智能体隐式地作为世界模型运行，其模拟常常受到物理幻觉的影响，生成逻辑上合理但物理上不可执行的计划。现有的对齐策略主要依赖资源密集型的训练或微调，试图将动态环境规则压缩到静态模型参数中。然而，这种参数化封装本质上是僵硬的，在没有持续、昂贵的再训练情况下难以适应物理动态的开放性变化。为弥合这一差距，我们引入了WorldMind框架，该框架通过合成环境反馈自主构建符号化的世界知识库。具体而言，它统一过程经验以通过预测误差确保物理可行性，并通过成功轨迹引导任务最优性。在EB-ALFRED和EB-Habitat上的实验表明，WorldMind相比基线方法表现出更优的性能，并具有显著的跨模型和跨环境迁移能力。