摘要
自回归模型的推理依赖链式思维与反思,但其输出修正仍需完全序列生成。相比之下,掩码扩散模型(MDM)的掩码机制天然支持对先前输出的显式局部编辑。本文提出“反射掩码”(RM),通过轻量级后训练激发 MDM 的内在推理能力,实现基于演化上下文的迭代修正。此外,引入无参数的“历史参考”机制,利用去噪中间状态借鉴前序回合信息。该方法无需架构改动,在文本、数独及图像编辑等任务中均优于基准,确立了 RM 作为 MDM 推理基本原语的地位。
AI 推荐理由
论文提出反射掩码机制,旨在激发扩散模型的内在推理能力,核心聚焦于推理。
研究机构
University of Maryland
Virginia Tech
Intuit
UC Davis
MBZUAI
论文信息