Reinforcement Learning Uncertainty Quantification Analytical Planning Moment Closure
摘要

在随机环境中进行有效的基于模型的强化学习需要能够考虑预测不确定性的规划方法。传统上,解析传播完整状态分布因需限制策略或奖励结构而难以处理,导致现代深度强化学习多采用引入高目标方差的随机采样或忽略协方差的确定性点估计。本文探究在无约束条件下实现感知分布的规划可能性。通过二次动作值参数化,我们将贝尔曼备份简化为仅对状态价值函数的期望;关键在于建立预测转移分布与价值函数类之间的兼容性原则,使该期望成为分布矩的解析形式。结合高斯转移模型和径向基价值函数,我们得到了能同时传播预测均值和协方差的闭式备份。实验表明,该方法降低了目标方差,并在连续控制的随机观测下提供了校准良好的预测不确定性。

AI 推荐理由

论文核心研究在不确定性环境下的模型强化学习规划,提出解析规划方法以处理预测不确定性。

研究机构
McGill University, Montreal, Canada Mila - Quebec Artificial Intelligence Institute, Montreal, Canada
论文信息
作者 Shishir Sharma, Doina Precup
发布日期 2026-08-03
arXiv ID 2608.02519
相关性评分 9/10 (高度相关)