Power Sampling Inference-time Scaling Multi-step Reasoning Particle Filtering
摘要

针对“无需训练的推理”中基础大语言模型已具备正确多步解概率但难以高效定位的问题,本文提出辅助粒子幂采样(APPS)。该算法通过块式粒子机制近似序列级幂目标,利用未来值引导的选择策略在重采样边界优化假设生存率。APPS 将有限计算资源重新分配至竞争前缀而非单一路径,并通过短视野展开或轻量级学习头实例化未来值信号。实验表明,该方法显著改善了无训练解码的准确率与运行时权衡,缩小了与后训练系统的差距。

AI 推荐理由

论文提出新解码算法以提升 LLM 多步推理能力,直接解决推理瓶颈。

研究机构
华为海思研究实验室
论文信息
作者 Tu Nguyen, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer
发布日期 2026-05-04
arXiv ID 2605.02427
相关性评分 9/10 (高度相关)