TTVS：通过测试时变分合成提升自探索强化学习

尽管基于可验证奖励的强化学习推动了大型推理模型的发展，但在缺乏监督信号的领域仍面临挑战。现有测试时方法受限于静态查询集，易过拟合文本模式。为此，本文提出测试时变分合成（TTVS）框架，利用无标签测试数据动态增强训练流，促使模型自我进化。该框架包含在线变分合成与测试时混合探索两个模块，前者生成语义等价变异以学习深层逻辑，后者平衡准确率驱动的开发与一致性驱动的探索。实验表明，TTVS 在多种架构上表现优异，甚至超越基于大量标注数据的监督强化学习方法。