Agent Skills Performance Regression Tool Use Evaluation Metrics
摘要

本文指出仅用平均成功率评估 LLM Agent 的程序性技能会掩盖其潜在成本:技能可能导致性能回退。通过在两个办公自动化基准和三种模型栈上进行近 6000 次实验,文章区分了“回归”(无技能成功但有技能失败)与“残余失败”。研究发现,优秀技能的优势主要在于减少回归而非增加成功。文章识别出导致回归的三大成因:技能描述渗透、基础定位位移及验证位移,并指出现有技能过度强调过程指导而忽视基础定位与验证。结论表明,技能的可靠性更多取决于基础定位与验证能力,而非过程选择本身。

AI 推荐理由

论文核心研究技能对 Agent 的负面影响及回归机制,深入分析技能使用原理。

研究机构
Sentient Labs
论文信息
作者 Darshan Tank, Baran Nama
发布日期 2026-07-24
arXiv ID 2607.22520
相关性评分 9/10 (高度相关)