摘要
掩码扩散语言模型通过迭代解掩码生成 token,其解掩码顺序定义了影响生成质量的“思维顺序”,通常依赖启发式选择。本文推导了序列解码不匹配的可处理上界,将其转化为基于路径对数似然的策略优化问题。提出的自感知调度(SAS)方法利用组相对策略优化学习轻量级顺序策略,适用于任意顺序及半自回归解码。在数独和数学推理基准测试中,SAS 显著提升了准确率,优于传统启发式调度方法。
AI 推荐理由
论文核心研究扩散模型中的思维顺序优化,显著提升数学与逻辑推理任务性能。
研究机构
University of Maryland, College Park
University of California, Los Angeles
Yilan Chen , Furong Huang
论文信息