摘要
外部自然语言技能为LLM智能体提供了可复用且可编辑的复杂任务解决指导。然而,其有效性不仅取决于技能质量,还取决于策略将指导转化为适当行动的能力。现有基于强化学习的方法主要关注任务级奖励,难以捕捉策略利用技能的细微差异。本文提出双向上下文自蒸馏(BCSD)框架,结合自蒸馏与强化学习训练LLM智能体更有效地使用外部技能。BCSD从两个互补的技能-上下文视角评估轨迹:增强视图引入高层元技能指导,简化视图修剪通用指导以突出特定任务技能。实验表明,该方法在ALFWorld和WebShop上实现了最佳性能。
AI 推荐理由
论文核心聚焦于提升LLM Agent利用外部技能(External Skills)的能力,提出BCSD框架优化技能使用效果。
研究机构
复旦大学
浙江大学
华东师范大学
阿里巴巴集团
论文信息