摘要
针对大语言模型在长输出及专业领域中难以可靠识别推理错误的问题，本文提出一种数据驱动方法，自动构建细粒度的推理错误分类体系（即“评估标准”）。实验表明，利用该标准能显著提升代码、数学等领域的错误识别率。基于此构建的奖励函数可通过强化学习训练模型，在仅使用少量金标数据的情况下，大幅提升了复杂技术任务的准确率，有效降低了对昂贵标注数据的依赖。
AI 推荐理由
论文核心在于构建推理错误分类体系以增强 LLM 的推理验证与奖励建模，直接提升推理能力。
研究机构
约翰斯·霍普金斯大学
亚马逊网络服务
论文信息