ProPlay：用于自进化 LLM 代理的程序化世界模型

自进化代理旨在无需外部监督即可通过交互提升能力，但在部分可观测环境中极具挑战。现有方法常依赖记忆或规划模块，却鲜少将其闭环以持续优化对环境动态的理解。本文提出 ProPlay，一种支持过程级预演的程序化世界模型。它将成功轨迹抽象为过程并构建捕捉因果转移的过程图，利用可靠性记录评估过往贡献。代理在执行前模拟未来轨迹作为引导，执行后利用反馈 refinement 图谱。实验表明，ProPlay 在环境理解与自进化能力上显著优于强基线。