基于大语言模型智能体的强化世界模型学习

针对大语言模型在智能体场景中难以预测动作后果及适应环境动态的问题，本文提出强化世界模型学习（RWML）。该方法利用模拟到现实的差距奖励，自监督地学习基于动作的文本状态世界模型。通过在预训练嵌入空间中对齐模拟状态与实际观察状态，RWML 确保了内部仿真与环境动态的一致性，克服了传统令牌预测的局限性。在 ALFWorld 和$\tau^2$ Bench 上的实验表明，该方法显著优于基线模型，结合任务成功奖励后表现更佳。