摘要
随着自动化反馈循环不断优化Agent技能,生成了内部价值不明的长结构化产物。本文研究技能估值问题,即在固定Agent和保留任务分布下,为规则、示例等技能内部单元分配信用。由于技能单元具有结构依赖性并消耗上下文,传统估值方法不适用。我们提出SkillSV,一种结构感知的Shapley风格框架,通过编译技能单元及其依赖关系,仅评估有效的反事实技能。该方法利用成对删除和长度中性填充分离内容价值与上下文成本,并使用 rollout 预算估计器处理噪声评估。在四个基准测试中,验证了其在恢复单元交互、保持整体提升及指导安全剪枝方面的有效性。
AI 推荐理由
论文直接研究Agent技能的内部价值评估与优化,属于技能学习领域的核心机制研究。
研究机构
南京航空航天大学
彭城实验室
清华大学
合肥大学
微软
论文信息