摘要
自然语言到一阶逻辑(NL-to-FOL)的准确翻译是神经符号 AI 与自然语言推断的基石,但现有基准数据集从未经过严格审计。本文首先系统检查了 FOLIO 验证集与 MALLS 测试子集,发现约 39% 和 36% 的条目存在错误的一阶逻辑形式化标注。其次,本文发布了修正后的真值标签,实验表明使用修正数据评估三个主流大模型可带来 9% 至 22% 的准确率提升。最后,提出一种基于大模型的框架辅助人工审查,仅需审查不到 24% 的样本即可使数据集准确率达到 90%,显著优于无引导审查。
AI 推荐理由
论文聚焦自然语言到一阶逻辑的翻译质量,直接关乎神经符号 AI 的逻辑推理基准评估与准确性。
研究机构
University of Udine, Italy
论文信息