摘要
近期 LLM Agent 研究正转向能力内化,旨在无需推理时检索即可保留技能。针对现有策略自蒸馏方法中教师偏好未经验证及动作级评分信息利用不足的问题,本文提出结果验证比较自蒸馏(OVCSD)。该方法组织失败轨迹为前缀树,自适应调用技能条件教师,仅保留经结果验证的成功延续,并在首个状态对齐分歧点应用局部比较学习,将教师后缀行为蒸馏给学生。实验表明,OVCSD 在 ALFWorld 和 WebShop 上显著优于现有基线,成功率分别提升 29.7% 和 5.4%,且训练额外交互开销极低。
AI 推荐理由
论文提出结果验证的自蒸馏方法,核心在于 Agent 能力的内化与自我改进。
研究机构
SouthEast University
Zhongguancun Academy
Tsinghua University
论文信息