相同的 Token 意味着相同的状态吗？MoE 路由作为推理控制的信号

本文研究稀疏混合专家（MoE）语言模型中，相同 Token ID 是否对应相同的路由状态。研究发现，即使输出 Token 固定，生成它的专家仍能区分任务上下文、轨迹历史及推理努力模式。基于此，作者提出了路由一致性解码（RAD）方法，通过分析锚点窗口的 MoE 路由状态来选择最佳推理路径，无需解析或执行答案字符串。在数学、GPQA 及代码数据集上的实验表明，RAD 在传统多数投票适用的场景中表现相当，且在代码生成等无法进行字符串投票的任务中展现出独特优势，有效提升了推理准确率。