MAIGO：通过历史清洗的在线策略自蒸馏缓解对话迷失现象

大型语言模型在多轮对话中常因“对话迷失”（LiC）导致性能下降，部分归因于中间回复引发的自我污染。为此，本文提出 MAIGO，一种基于在线策略的自蒸馏方法，利用模型自身策略生成的清洗后历史作为参考，减少污染。该方法在中间轮次移除助手回复但保留用户可见前缀，在回答轮次则基于完整用户对话进行蒸馏，并引入可靠性权重降低不一致样本的影响。实验表明，MAIGO 显著提升了 Qwen2.5-7B-Instruct 在分片视图下的准确率，证明自我污染是可训练的 LiC gap 组成部分。