diffusion models chain-of-thought re-ranking inference acceleration
摘要

生成式推理重排序器通过在重排序前输出思维链实现高精度推荐,但自回归解码导致推理缓慢。块扩散语言模型虽能并行解码加速,却面临结构与分布差距导致的精度下降。本文提出 Diffusion-GR2,通过转换微调使模型自主生成有效排列,利用在线策略蒸馏缩小分布差距,并结合强化学习进一步优化。实验表明,该方法在保持与自回归模型相当精度的同时,将解码吞吐量提升了 2.4 至 3.5 倍。

AI 推荐理由

论文核心研究基于思维链的生成式推理重排序机制,通过扩散模型加速推理过程。

研究机构
Meta AI UNO Chapel Hill
论文信息
作者 Zhuoxuan Zhang, Kangqi Ni, Yuhang Chen, Mingfu Liang, Xiaohan Wei et al.
发布日期 2026-07-01
arXiv ID 2607.01170
相关性评分 9/10 (高度相关)