知识蒸馏 端侧智能 过程记忆 高效代理
摘要

基于大语言模型的代理虽能解决复杂过程任务,但依赖大模型与长上下文,难以在资源受限设备上部署。本文提出 DuoMem,一种双空间蒸馏框架,将大型教师模型的过程问题解决能力迁移至紧凑学生模型。该方法包含互补的两部分:上下文空间蒸馏,用教师生成的高质量过程记忆替换学生记忆;参数空间蒸馏,基于成功轨迹微调轻量级 LoRA 适配器。在 ALFWorld 基准测试中,4B 模型成功率从 4.3% 提升至 77.9%,接近 72B 教师模型水平,且推理速度更快,适合实时端侧部署。

AI 推荐理由

论文提出双空间蒸馏框架,核心在于通过教师模型生成高质量过程记忆增强学生模型,直接解决端侧记忆代理问题。

研究机构
Samsung R&D Institute UK Queen Mary University of London
论文信息
作者 Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro et al.
发布日期 2026-06-29
arXiv ID 2606.29961
相关性评分 9/10 (高度相关)