摘要
视觉语言模型虽具备强推理能力,但存在序列生成成本高、错误累积及自纠正受限等问题。扩散多模态大模型虽支持无序生成与迭代优化,但其推理增强方法尚待探索。本文提出无需训练的 ST-Veto 方法,利用扩散步骤中全 token 位置可观测特性,通过二阶泰勒预测置信度动态否决时序不稳定 token,并结合图像注意力质量过滤弱 grounding token,替换为更安全候选项。实验表明,该方法在多个基准上显著优于标准解码策略,准确率最高提升 9%,且无额外训练或生成成本。
AI 推荐理由
论文核心在于提升扩散多模态大模型的推理能力,通过新解码策略解决错误累积问题。
研究机构
Korea University
论文信息