摘要
扁平化强化学习智能体在处理需要长程推理的稀疏奖励环境时面临巨大挑战。标准分层强化学习(HRL)将知识编码为固定形式,无法利用探索中学到的增量知识进行推理,导致样本效率低下。本文提出一种带有增量知识(InK)的神经符号HRL框架:高层符号组件对可更新的InK表示执行符号规划(如使用D*算法),低层神经网络模块通过奖励塑造从经验中学习运动基元。导航实验表明,引入InK显著提高了样本效率。此外,为了在给定世界先验知识的情况下进行最优符号规划,我们开发了信念世界树搜索方法。
AI 推荐理由
论文核心提出基于增量知识的符号规划(Symbolic Planning),直接解决分层强化学习中的任务规划问题。
研究机构
CCDS, NTU Singapore
CNRS@CREATE, Singapore
IPAL, CNRS, France
论文信息