摘要
尽管Agent技能为LLM提供了可复用的程序性知识,但人工维护成本高且难以扩展。现实部署需要在测试时进行自主、按需的技能进化,同时受限于有限的交互预算和缺乏训练/验证集。这种设置带来了严重的稀疏奖励挑战,结果往往混淆了多种潜在的失败原因。在此模糊情境下,现有贪婪地优化单一现有技能的方法容易陷入利用陷阱,导致早期误判耗尽有限试验次数并沿无效轨迹行进。为此,我们提出了SkillHEX,这是一个闭环框架,将假设驱动的自验证与证据引导的树搜索相结合。SkillHEX将可证伪的失败假设转化为可执行测试,在不增加环境尝试次数的情况下产生作为密集奖励的诊断证据。该证据指导对持久技能修订分支的搜索,动态平衡对支持编辑的利用与对合理替代方案的探索。在SkillsBench的87个任务上评估,SkillHEX优于现有的自我进化方法,在使用GPT-5.3-Codex和Claude Opus 4.7的五次迭代预算下,分别取得了55.9%和57.9%的平均通过率。
AI 推荐理由
论文核心聚焦于Agent技能的自主进化与自我改进机制,通过假设驱动和树搜索实现技能迭代优化。
研究机构
微软
加利福尼亚大学圣地亚哥分校
不列颠哥伦比亚大学
中国科学技术大学
论文信息