摘要
针对近端策略优化(PPO)在持续及非平稳环境中因缺乏几何感知引导而难以实现有效行为转变的问题,本文提出高斯信任域策略优化(GTR)。该方法利用高斯核重塑信任域,构建有界且非单调的约束,在保持局部稳定性的同时,允许在持续高优势更新下逐步放松限制以适应新行为。此外,引入混合高斯锚点以适应近期策略轨迹,降低方差。实验表明,GTR 在游戏、机器人控制及语言模型后训练等场景中均表现出强大的鲁棒性与适应性。
AI 推荐理由
论文提出 GTR 算法解决非平稳环境下的持续适应问题,支持 Agent 行为模式转变与自我进化。
研究机构
香港科技大学
蒙特利尔大学
复旦大学
论文信息