摘要
多轮智能体虽能规划并调用工具解决复杂任务，但依赖大模型导致推理成本高昂。在策略蒸馏（OPD）迁移能力时，小模型误差会随回合累积，偏离教师分布。本文提出引导式在策略蒸馏（Guided-OPD），通过在 rollout 中混合师生生成的回合，并按课程表逐渐减少教师干预概率。该方法在早期保持轨迹接近教师分布，后期恢复纯在策略模式。实验表明，该方法在多个基准上显著提升了小模型的得分与成功率。
AI 推荐理由
论文聚焦多轮智能体的任务规划与交互，提出课程引导蒸馏解决规划错误累积问题。
研究机构
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences
School of Artificial Intelligence, University of Chinese Academy of Sciences
Large Language Model Department, Tencent, University of Science and Technology of China
Zhejiang University
Wuhan AI Research
National University of Singapore
论文信息