面向扩散语言模型的掩码感知策略梯度

强化学习已被证明能有效提升大语言模型的推理能力，但将其扩展至掩码扩散语言模型（MDLM）仍具挑战，主要源于对数似然估计的难解性。现有方法仅建模令牌预测而忽略生成过程中的去掩码顺序。本文指出 MDLM 生成包含两个决策：确定掩码位置的令牌内容及选择重掩码位置。我们将此形式化为两阶段动作马尔可夫决策过程，证明策略梯度自然分解为令牌项与掩码项。联合优化这两项在数学推理和编码基准测试中取得了最先进成果，GSM8K 得分为 87.1%，MBPP 得分为 53.4%。