钓出搭便车者：基于 Shapley 值的并行推理强化学习奖励归因

大型语言模型擅长多步推理，但现有并行方法常无法区分各推理路径的贡献，导致冗余或误导路径获得均匀奖励，引发训练信号模糊。本文提出 Parallel Shapley 框架，将每条路径视为合作博弈参与者，利用 Shapley 值量化边际贡献，结合生成式奖励模型评估效用及蒙特卡洛采样高效近似。数学推理基准实验表明，该方法优于现有基线，能有效剔除“搭便车”路径，提供比例化奖励分配，显著提升多路径推理的稳定性与可解释性。