self-evolving agents skill retirement biased evaluation behavioral safety
摘要

自进化 Agent 通过观察失败来淘汰劣质技能,但当评判者无法识别失败时会发生什么?本文指出,技能淘汰是防止技能库退化的关键约束,但其前提是奖励无偏。研究表明,有偏见的评判者(特别是“假通过”偏差)会静默地关闭淘汰机制,导致基于贡献的更新失效。这种机制故障具有普遍性,虽不一定立即反映在聚合指标中,却构成了行为安全隐患。文章提出了缺陷注入审计方法,以便在部署前检测评判者的偏差阈值。

AI 推荐理由

论文核心研究自进化 Agent 中的技能淘汰机制及其在评估偏差下的失效问题。

研究机构
AWS Generative AI Innovation Center HSBC Holdings Plc, HSBC Technology Center, China
论文信息
作者 Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu et al.
发布日期 2026-07-08
arXiv ID 2607.07436
相关性评分 9/10 (高度相关)