摘要
现实世界中的 Agent 必须从昂贵且不可逆的交互中进行在线学习。部署能力不仅取决于结果,更取决于执行路径是否遵守中性约束(如勿扰用户、业务时间)。现有的可验证奖励强化学习(RLVR)仅优化结果,忽略了路径约束且在失败组中效率低下。本文提出“惩罚路径,奖励结果”的策略,利用环境中易于检测的违规行为提供密集惩罚信号,补充结果奖励的不足。该方法在实现高任务成功率的同时几乎零违规,并提出了避免“不作为陷阱”等四条设计规则。
AI 推荐理由
论文核心在于优化 Agent 的行为路径规划,通过惩罚违规路径确保任务执行符合约束。
研究机构
Pine AI
University of Washington
论文信息