摘要
掩码扩散语言模型(dLLMs)允许任意顺序生成令牌,但这在推理任务中导致性能崩溃。研究发现,无约束解码往往过早输出答案而忽略推理过程。通过实验证明,思维链仅在有序承诺下有效。本文提出“前沿门控承诺”干预措施,因果性地恢复了推理性能差距,同时保持并行解码优势,并将现有窗口采样器重新定义为解决推理病理的最小修复方案。
AI 推荐理由
论文深入探讨扩散模型在推理任务中的失败机制,提出有序承诺以恢复思维链效果,直接针对推理能力优化。
研究机构
首尔大学数据科学研究生院
首尔大学航空航天工程系
首尔大学农村系统工程系
论文信息