Agent Evaluation Skill Quality Interpretable AI LLM
摘要

随着Agent技能的广泛应用,评估其质量至关重要。现有方法多依赖下游任务表现,仅反映特定兼容性且缺乏可解释性。本文提出SkillEval框架,通过分析SKILL.md文档属性进行文档级评估。该方法在模型隐藏表示空间中学习可解释的评分方向,并消除长度和格式等无关特征干扰,从而精准捕捉语义属性。实验表明,SkillEval能可靠区分不同质量的技能,其评分与下游任务表现高度相关,并能指导针对性修订以提升技能效果。

AI 推荐理由

论文直接针对Agent技能(Skill)的质量评估与优化,属于skills领域的核心研究。

研究机构
西安交通大学 上海AI实验室 香港理工大学 中国人民大学 哈尔滨工业大学
论文信息
作者 Jiahui Han, Qinuo Li, Ziheng Peng, Haotian Wu, Haoze Liu et al.
发布日期 2026-08-07
arXiv ID 2608.06891
相关性评分 9/10 (高度相关)