摘要
测试时强化学习(TTRL)通过多数投票构建伪标签更新策略,从而在无标注数据下提升大语言模型的推理能力。然而,TTRL中的奖励信号对共识强度高度敏感:低共识会导致不可靠伪标签被放大,高共识则导致梯度消失。本文提出Hi-TTRL框架,通过在采样阶段引入提示来调节 rollout 的共识强度。该方法首先估计部分组的共识强度,若偏离目标区间,则调用基于马尔可夫链蒙特卡洛(MCMC)的提示采样器。通过调整幂指数生成锐化或扁平化的前缀分布提示,引导共识强度回归目标区间。实验表明,Hi-TTRL在多个数据集和骨干模型上均优于标准TTRL。
AI 推荐理由
论文旨在通过测试时强化学习直接提升LLM的推理能力,核心机制围绕优化推理过程中的奖励信号与共识强度。
研究机构
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen, China
论文信息