通过局部分支路由实现高效可训练的语言模型测试时扩展

测试时扩展能提升语言模型推理能力，但现有方法常面临权衡困境：长思维链采样多为单线程，而句子或解级搜索计算昂贵且难端到端训练。本文提出局部树枝路由（LBR），一种令牌级测试时扩展框架，通过扩展小型局部前瞻树，利用轻量路由器基于候选局部未来的隐藏状态选择深度 -1 子树提交。该方法在保留离散分支身份的同时定义了可处理的树轨迹似然，支持基于可验证奖励的端到端强化学习。实验表明，LBR 在合成层次规划任务及数学推理基准上，均优于离散思维链及现有强化学习基线。