摘要
扩展测试时计算可提升语言模型推理能力,但均匀预算浪费资源,且现有方法依赖外部反馈。本文提出自验证优化(SVR),一种无需预言机的多轮强化学习框架,将自我验证作为计算控制策略。模型每轮生成解、正确性判决及置信度,仅当判决正确且置信度达标时保留答案,否则继续优化。训练仅用真实标签构建奖励,推理时无需暴露。在七个数学基准上,SVR 以平均 2.99 轮次达到 0.563 准确率,显著优于基线,证明 learned 自我验证是有效的内部控制信号。
AI 推荐理由
论文核心研究通过自我验证机制提升数学推理能力,属于推理领域的关键创新。
研究机构
Sun Yat-sen University
Guangdong Key Laboratory of Big Data Analysis and Processing, X-Era AI Lab
论文信息