Skill Use Process Supervision Self-Evolving Rubrics Agent Evaluation
摘要

技能正成为大语言模型智能体的可复用操作层,但在现实技能库中,重叠技能导致可靠使用困难。仅凭最终验证成功率过于粗糙,无法区分偶然成功与高质量过程。本文提出 SkillCoach,一种用于评估和增强智能体技能使用的自进化规则框架。该框架从实际执行中推导基于技能的过程规则,从技能选择、遵循、组合及反思四个维度评估轨迹,并将外部验证器作为独立结果信号,以区分过程质量与偶然成功。进化后的规则进一步作为过程监督信号,筛选高质量训练轨迹。实验表明,该方法显著提升了评估质量,揭示了被最终准确率掩盖的失败,并为增强技能使用提供了比单纯结果过滤更强的监督信号。

AI 推荐理由

论文核心研究智能体技能使用的评估与增强,提出自进化规则框架,直接解决技能选择与组合难题。

研究机构
HKUST(GZ) JD.COM
论文信息
作者 Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu et al.
发布日期 2026-07-02
arXiv ID 2607.01874
相关性评分 9/10 (高度相关)