Self-Refine Reflexion Repeated Sampling Reasoning Efficiency LLM Evaluation
摘要

现有方法通过让语言模型规划、批评、重写或辩论来生成更多文本,从而提升准确率,但这难以证明是方法本身而非生成长度起了作用。本研究设计实验,对比七种方法与重复采样基线,严格控制 Token 成本并覆盖不同参数量模型及数学基准。结果显示,在同等成本下,没有任何方法显著优于重复采样;所有涉及自我检查的方法均表现更差。随着模型规模增大,选择最优解的能力有所提升,但重写类方法仍未恢复优势。此外,发现 Reflexion 在小模型上因误判正确而失效。

AI 推荐理由

论文核心评估自我反思等推理增强策略在同等成本下是否优于重复采样,直接针对推理能力。

研究机构
纽约州立大学石溪分校计算机科学系
论文信息
作者 Iliya Mirzaei
发布日期 2026-07-30
arXiv ID 2607.28576
相关性评分 9/10 (高度相关)