摘要
大语言模型在多轮交互中常因信息分散而表现不佳,这种现象被称为“对话迷失”。本文提出“发现于对话中”(FiC)训练框架,使模型通过自我教学恢复单轮对话能力。该方法采用“视图不对称自蒸馏”技术,将单轮视图(教师)的强行为迁移至多轮视图(学生),无需外部更强教师模型。实验表明,FiC 在多种模型家族及规模上恢复了至少 92% 的单轮性能,部分甚至达到 100%,显著提升了多轮对话的效率与帮助性。
AI 推荐理由
论文核心解决多轮对话中信息丢失问题,本质是优化对话历史管理与记忆机制。
研究机构
Stanford
论文信息