超越模式坍塌：面向多样化推理的分布匹配

针对 GRPO 等在线强化学习方法存在的模式坍塌问题，即概率质量过度集中于单一解而停止探索，本文提出分布匹配策略优化（DMPO）。该方法通过近似最小化前向 KL 散度，构建基于奖励的轨迹目标分布并对齐策略分布，从而在训练中维持持续探索。在 NP 难组合优化及数学推理任务上的实验表明，DMPO 显著提升了方案多样性与求解质量，证明了保留多样性的训练能增强跨模态的通用推理能力。