Scalable Oversight Conformal Decision Theory AI Safety Autonomous Planning
摘要

具备自主规划和长期环境交互能力的智能体系统提出了根本性的控制难题:人类如何有效监管可能超越自身能力的系统?现有方法依赖复杂假设或缺乏统计保证。本文提出校准集体监管(CCO)框架,聚合多种辅助评分函数,基于可达效用保持理念,对偏离保守基线的行为施加惩罚。该方法利用共形决策理论在线校准保守度,在无分布假设下确保不良结果低于用户设定阈值。实验表明,CCO 能在保留奖励的同时显著减少伦理违规,且实际违规率与理论预测高度吻合。

AI 推荐理由

论文聚焦自主规划系统的监管问题,通过校准保守性约束代理的规划行为,是规划安全的核心研究。

研究机构
Stanford Graduate School of Business, Stanford University, Stanford, CA, USA
论文信息
作者 William Overman, Mohsen Bayati
发布日期 2026-05-27
arXiv ID 2605.28807
相关性评分 8/10 (高度相关)