摘要
代理搜索通过交织多步推理与检索来解决知识密集型任务,但基于结果的强化学习仅提供稀疏监督。针对从专有模型蒸馏时面临的 logits 隐藏及风格模仿局限,本文提出多智能体协议蒸馏(MAPD)。该框架利用结构化、风格标准化的协议作为中间表示,将探索轨迹转化为包含任务类型、推理计划及 grounding 事实的 JSON 协议。训练时,该协议为学生策略提供密集蒸馏信号,辅以稀疏 RL 目标。实验表明,MAPD 在多个基准上显著优于现有方法,有效防止了风格漂移并提升了推理性能。
AI 推荐理由
论文核心在于通过多智能体协议蒸馏增强模型的推理能力,解决稀疏监督问题。
研究机构
中国科学院大学
清华大学
北京工业大学
论文信息