摘要
扩散大语言模型(dLLMs)通过块级渐进去掩码实现高效生成,但在依赖连贯数值符号推理轨迹的数学推理任务中表现不可靠。本文分析了LLaDA 2.0的解码轨迹,发现局部令牌置信度与全局推理正确性存在错位,即“置信度陷阱”,表现为采样敏感失败和采样一致失败两种模式。为此,我们提出进化解码,这是一种无需训练的测试时扩展框架,将扩散解码视为候选推理状态的进化过程。该框架结合逐步选择以保留有用信号并抑制重复模式,以及块级变异以引入结构化替代方案从而跳出错误的高置信度盆地。实验表明,该方法显著提升了数学推理的可靠性。
AI 推荐理由
论文聚焦于提升扩散模型在数学推理任务中的准确性,通过进化解码机制解决推理轨迹一致性问题,直接针对推理能力优化。
研究机构
Australian National University
Nanyang Technological University
National University of Singapore
论文信息