摘要
本文探讨大语言模型（LLM）在推理任务中的表现是否源于忠实的逻辑推断。通过在法律蕴含任务中对比纯分类、基于 LLM 的形式推理及基于求解器的形式推理，研究发现法律解释与严格形式蕴含间存在显著差距。尽管引入形式结构提升了准确率，但 LLM 仍存在“范围清洗”、“隐式约束盲区”及程序合成失败等模式，表明其缺乏真正的逻辑忠实性。结果揭示了基准准确率与逻辑忠实性之间的根本鸿沟。
AI 推荐理由
核心研究 LLM 在法律推理中的逻辑忠实性、形式化推理及失败模式。
研究机构
UC Santa Cruz
Univ. Helsinki
CodeX, Stanford
Stanford University
Canyon Crest Academy
Monta Vista High School
Los Altos High School
论文信息