摘要
本文研究了在基于根(坚决)风险目标下的有限视界马尔可夫决策过程(MDP)规划问题,该目标对总回报分布应用秩依赖泛函。由于此类目标在回报分布中呈非线性且通常破坏贝尔曼最优性,直接优化难以实现。作者提出了 ERQDP 方法,这是一种无需枚举和采样的技术,通过精确动态规划求解秩 - 分位数代理目标,并在离散化回报网格上利用回报概率质量函数精确评估候选策略。该方法支持任意时刻循环优化,并提供明确的上界 - 下界差距证明。实验表明,ERQDP 能返回认证解或明确残差,显著提升风险参数扫描效率,并支持风险规避与寻求行为。
AI 推荐理由
论文核心研究风险目标下的 MDP 规划算法,提出精确动态规划方法解决序列决策问题。
研究机构
Université de Caen Normandie, ENSICAEN, CNRS, Normandie Univ, GREYC UMR 6072, France
论文信息