规划作为具有关系隐藏状态的强化学习中的涌现行为

传统上，强化学习分为基于模型和无模型方法。近期研究表明，规划可仅从无模型强化学习中涌现，但其条件尚不明确。本文指出，神经架构的关系隐藏状态结构是决定性因素。这种状态网络通过与环境状态锚定并沿学习到的关系交换消息，获得了规划机制。它们在学到的关系中恢复环境转移结构，并通过在所学图上进行规划来优化策略。相比之下，缺乏这种绑定结构的控制代理未表现出规划行为。该发现解释了无模型强化学习中规划涌现的现象，并推测其可能描述了人脑中通过神经架构先验实现规划涌现的机制。