做我的导师：基于在策略协同蒸馏与同伴反馈的 LLM 互促改进

本文研究了多领域大语言模型训练，提出让两个在不同领域各有所长的模型通过在策略反馈下互相辅导来实现共同进化。不同于单向蒸馏或单模型微调，本研究旨在实现相互帕累托改进，即每个模型在跨领域提升的同时不丧失原有优势。为此，作者提出了在策略协同蒸馏（OPCoD）方法，其中学生的自蒸馏过程基于其自身的正确 rollout 及同伴反馈。为确保反馈交换高效，OPCoD 引入了基于认知的门控机制以决定何时提供反馈，并利用反馈锚定将反馈 grounded 于具体问题中。实验表明，在科学问答任务上，OPCoD consistently 优于基线，并在所有评估的领域对学生对中实现了帕累托改进。