Diffusion LLMs Mathematical Reasoning Evolutionary Decoding Test-time Scaling
摘要

扩散大语言模型(dLLMs)通过块级渐进去掩码实现高效生成,但在依赖连贯数值符号推理轨迹的数学推理任务中表现不可靠。本文分析了LLaDA 2.0的解码轨迹,发现局部令牌置信度与全局推理正确性存在错位,即“置信度陷阱”,表现为采样敏感失败和采样一致失败两种模式。为此,我们提出进化解码,这是一种无需训练的测试时扩展框架,将扩散解码视为候选推理状态的进化过程。该框架结合逐步选择以保留有用信号并抑制重复模式,以及块级变异以引入结构化替代方案从而跳出错误的高置信度盆地。实验表明,该方法显著提升了数学推理的可靠性。

AI 推荐理由

论文聚焦于提升扩散模型在数学推理任务中的准确性,通过进化解码机制解决推理轨迹一致性问题,直接针对推理能力优化。

研究机构
Australian National University Nanyang Technological University National University of Singapore
论文信息
作者 Zhenhong Sun, Hanqing Zhao, Yatao Bian, Rongcheng Tu, Liuyue Xie et al.
发布日期 2026-08-01
arXiv ID 2608.00605
相关性评分 9/10 (高度相关)