摘要
测试时扩展通常依赖外部验证器获取高质量样本,但在许多实际应用中缺乏此类验证器,因此无验证器测试时扩展(VF-TTS)备受关注。现有基于置信度的VF-TTS方法在复杂任务中表现不佳,常因高初始置信度导致探索失败并偏好错误答案。本文提出“协同效应”框架,通过评估推理过程中置信度的时间不对称性来优化选择:惩罚高初始置信度,严格要求最终确定性。实验表明,该方法在研究生级数学问题和自由形式代码生成中显著优于基线,验证了其对完成置信度的新颖视角。
AI 推荐理由
论文直接针对LLM推理过程中的测试时扩展机制,通过优化置信度轨迹提升复杂任务(数学、代码)的推理质量。
研究机构
AWS AI Labs
论文信息