基于轨迹的在线策略蒸馏用于掩码扩散语言模型

扩散大语言模型（dLLM）是自回归生成的有力替代方案，但其推理导向的后训练仍具挑战。本文提出基于轨迹的在线策略蒸馏（TOPD），一种无需奖励估计的教师监督框架，旨在将推理能力迁移至目标 dLLM。该方法通过在目标模型的去噪轨迹上进行监督，聚焦于形成最终响应的轨迹对齐 token 决策。实验表明，TOPD 使 SDAR-4B-Chat 在数学推理基准上达到与 RL 训练模型相当的精度，且计算效率显著提升。