MDP 规划 风险敏感决策 动态规划 序列决策
摘要

本文研究了在基于根(坚决)风险目标下的有限视界马尔可夫决策过程(MDP)规划问题,该目标对总回报分布应用秩依赖泛函。由于此类目标在回报分布中呈非线性且通常破坏贝尔曼最优性,直接优化难以实现。作者提出了 ERQDP 方法,这是一种无需枚举和采样的技术,通过精确动态规划求解秩 - 分位数代理目标,并在离散化回报网格上利用回报概率质量函数精确评估候选策略。该方法支持任意时刻循环优化,并提供明确的上界 - 下界差距证明。实验表明,ERQDP 能返回认证解或明确残差,显著提升风险参数扫描效率,并支持风险规避与寻求行为。

AI 推荐理由

论文核心研究风险目标下的 MDP 规划算法,提出精确动态规划方法解决序列决策问题。

研究机构
Université de Caen Normandie, ENSICAEN, CNRS, Normandie Univ, GREYC UMR 6072, France
论文信息
作者 Irmaan, Mirzanejad, Nadjet Bourdache, Abdel-Illah Mouaddib
发布日期 2026-07-22
arXiv ID 2607.19914
相关性评分 9/10 (高度相关)