摘要
本文指出仅用平均成功率评估 LLM Agent 的程序性技能会掩盖其潜在成本:技能可能导致性能回退。通过在两个办公自动化基准和三种模型栈上进行近 6000 次实验,文章区分了“回归”(无技能成功但有技能失败)与“残余失败”。研究发现,优秀技能的优势主要在于减少回归而非增加成功。文章识别出导致回归的三大成因:技能描述渗透、基础定位位移及验证位移,并指出现有技能过度强调过程指导而忽视基础定位与验证。结论表明,技能的可靠性更多取决于基础定位与验证能力,而非过程选择本身。
AI 推荐理由
论文核心研究技能对 Agent 的负面影响及回归机制,深入分析技能使用原理。
研究机构
Sentient Labs
论文信息