摘要
技能正成为大语言模型智能体的可复用操作层,但在现实技能库中,重叠技能导致可靠使用困难。仅凭最终验证成功率过于粗糙,无法区分偶然成功与高质量过程。本文提出 SkillCoach,一种用于评估和增强智能体技能使用的自进化规则框架。该框架从实际执行中推导基于技能的过程规则,从技能选择、遵循、组合及反思四个维度评估轨迹,并将外部验证器作为独立结果信号,以区分过程质量与偶然成功。进化后的规则进一步作为过程监督信号,筛选高质量训练轨迹。实验表明,该方法显著提升了评估质量,揭示了被最终准确率掩盖的失败,并为增强技能使用提供了比单纯结果过滤更强的监督信号。
AI 推荐理由
论文核心研究智能体技能使用的评估与增强,提出自进化规则框架,直接解决技能选择与组合难题。
研究机构
HKUST(GZ)
JD.COM
论文信息