摘要
自进化 Agent 通过观察失败来淘汰劣质技能,但当评判者无法识别失败时会发生什么?本文指出,技能淘汰是防止技能库退化的关键约束,但其前提是奖励无偏。研究表明,有偏见的评判者(特别是“假通过”偏差)会静默地关闭淘汰机制,导致基于贡献的更新失效。这种机制故障具有普遍性,虽不一定立即反映在聚合指标中,却构成了行为安全隐患。文章提出了缺陷注入审计方法,以便在部署前检测评判者的偏差阈值。
AI 推荐理由
论文核心研究自进化 Agent 中的技能淘汰机制及其在评估偏差下的失效问题。
研究机构
AWS Generative AI Innovation Center
HSBC Holdings Plc, HSBC Technology Center, China
论文信息