摘要
随着Agent技能的广泛应用,评估其质量至关重要。现有方法多依赖下游任务表现,仅反映特定兼容性且缺乏可解释性。本文提出SkillEval框架,通过分析SKILL.md文档属性进行文档级评估。该方法在模型隐藏表示空间中学习可解释的评分方向,并消除长度和格式等无关特征干扰,从而精准捕捉语义属性。实验表明,SkillEval能可靠区分不同质量的技能,其评分与下游任务表现高度相关,并能指导针对性修订以提升技能效果。
AI 推荐理由
论文直接针对Agent技能(Skill)的质量评估与优化,属于skills领域的核心研究。
研究机构
西安交通大学
上海AI实验室
香港理工大学
中国人民大学
哈尔滨工业大学
论文信息