S3：通过约束分层强化学习中粗粒度动态的不确定性来实现稳定的子目标选择

分层强化学习旨在将战略规划与原语执行分离，但在长程任务中高层智能体面临反馈稀疏问题。本文提出利用粗粒度动态感知内在动机优化高层子目标选择，通过在高层操作的时间尺度上聚合环境转移来最小化预测不确定性。该方法采用混合密度网络评估分散度指标，引导风险规避的子目标选择。实验表明，该密集内在奖励机制在非平稳长程环境中优于现有最先进方法，显著提升了规划稳定性。