多轮对话 自蒸馏 对话迷失 记忆增强
摘要

大语言模型在多轮交互中常因信息分散而表现不佳,这种现象被称为“对话迷失”。本文提出“发现于对话中”(FiC)训练框架,使模型通过自我教学恢复单轮对话能力。该方法采用“视图不对称自蒸馏”技术,将单轮视图(教师)的强行为迁移至多轮视图(学生),无需外部更强教师模型。实验表明,FiC 在多种模型家族及规模上恢复了至少 92% 的单轮性能,部分甚至达到 100%,显著提升了多轮对话的效率与帮助性。

AI 推荐理由

论文核心解决多轮对话中信息丢失问题,本质是优化对话历史管理与记忆机制。

研究机构
Stanford
论文信息
作者 Tianlang Chen, Shirley Wu, Jure Leskovec
发布日期 2026-05-23
arXiv ID 2605.24432
相关性评分 9/10 (高度相关)