摘要
程序性记忆日益被用于提升 LLM 智能体在重复性工作场景中的表现,但其生成可复用技能的能力尚不明确。本文推出 AFTER 基准,涵盖 382 项真实企业任务,涉及六种职业角色与 22 种程序性技能,旨在评估技能在任务、角色及模型骨干间的迁移能力。实验表明,程序性记忆在工业工作流中带来稳定增益:单次优化即可提升整体性能 3.7-6.7 分;基于多模型执行轨迹演化的技能在跨模型测试中准确率达 73.1%,优于单一模型来源。研究还发现部分技能具有广泛泛化性,而另一些则局限于特定角色流程,迁移后效果下降。结果为生产环境中构建、评估与部署程序性记忆系统提供了实践指导。
AI 推荐理由
论文核心研究程序性记忆机制,提出基准并评估其在技能复用与迁移中的表现。
论文信息