超越下一观测预测：用于序列决策的智能体自建世界模型

近期针对大语言模型智能体的世界建模研究通常将学习目标设定为下一观测预测。然而，该目标将监督信号绑定于转移所揭示的内容，可能遗漏与当前决策最相关的动态信息。为此，本文提出智能体自建世界模型（AAWM），这是一种从策略自身决策需求构建监督信号的训练方法。具体而言，智能体在行动前识别其需理解的环境要素，以此驱动相关轨迹证据的检索，并合成为捕捉决策导向动态的训练目标，而非重构下一观测。实验结果表明，相较于下一观测预测，具备决策感知能力的世界模型目标能提供更有效的学习信号。