摘要
内部世界建模对大型语言模型（LLM）和多模态模型（VLM）的推理与规划至关重要。针对传统方法依赖昂贵动作标注轨迹的问题，本文提出 SWIRL 框架。该框架将动作视为潜在变量，通过交替优化前向世界建模与逆动态建模，利用变分信息最大化和证据下界最大化两阶段迭代，仅从状态序列中学习。实验表明，SWIRL 在多个视觉及文本环境中显著提升了模型性能。
AI 推荐理由
论文提出自改进世界模型框架，核心旨在增强 LLM/VLM 的推理与规划基础能力。
研究机构
爱丁堡大学‘Nvidia Research’大学研究组
论文信息