基于多序列验证器的并行测试时扩展

并行测试时扩展通过生成多个候选解提升大语言模型性能，但受限于答案选择准确性及高推理延迟。本文指出这两大瓶颈均源于验证器校准不足。现有验证器孤立评分，忽略了候选集间的上下文信息。为此，我们提出多序列验证器（MSV），首次联合处理所有候选解并建模其交互，显著改善校准效果及最佳选择性能。此外，引入流式 MSV 变体支持新型早停框架，充分利用并行解码，在同等目标精度下将延迟降低约一半。