摘要
随着开源技能市场的扩展,LLM Agent 日益依赖元数据选择第三方技能,导致技能描述与实际行为间的“跨层错位”难以察觉。本文提出渐进式加载感知分层对比学习(PL-HCL)框架,通过建模技能的层级结构并学习跨层一致性来检测此类错位。在超过 26 万个开源技能的归一化语料库及人工验证挑战集上,该方法将 Macro-F1 从基线的 0.45 显著提升至 0.87-0.89,为用户和运营商提供了有效的筛选工具及分层数字artifact 的一致性检测设计原则。
AI 推荐理由
论文核心研究 Agent 技能(Skills)的描述与行为不一致问题,提出检测框架。
研究机构
Indiana University Bloomington
Bloomington, Indiana, USA
论文信息